Será apresentada uma visão geral do Apache Flink e suas características , assim como uma comparação com apache Spark e Map Reduce e como montar um cluster com Flink.

Dados relevantes podem vir de qualquer lugar e qualquer aplicação. Esse cenário traz alguns desafios: como analisar todas essas informações, de maneira que façam sentido juntas? Como padronizar o formato, sem adicionar complexidade? Como disponibilizar dados em um modelo consistente e útil para análise/exploração por engenheiros e áreas de negócio? Quais ferramentas podemos utilizar?

Nesta palestra, apresentaremos os desafios e lições aprendidas na construção de um datalake e um datawarehouse. Nosso modelo de coleta de dados e processamento de grandes volumes, como garantimos consistência de dados entre eventos e como armazenamos as informações para análise exploratória.

Processar dados em streaming, ou, em bom português, processar dados que chegam num fluxo contínuo, muitas vezes demanda uma ação imediata sobre os dados que traga resultados em tempo real.

Essa palestra vai utilizar a API Python do Spark, o PySpark, para mostrar a construção de uma aplicação simples que recebe dados de acidentes de trânsito ocorridos em Recife e realiza seu processamento em tempo real, mostrando como fazer isso mirando a resiliência e robustez da aplicação.

Nos últimos anos a convergência de plataformas digitais se tornou realidade. Além disso, com disponibilidade massiva de conteúdo, torna-se obrigatório oferecer sempre o conteúdo mais relevante. Este trabalho demonstra um método que introduz a dinamicidade de comentários das redes sociais em algoritmos de recomendação de vídeo usando técnicas de Motores de Busca e Processamento de Linguagem Natural. Essa abordagem foi criada e desenvolvida na TV Globo na área de Pesquisa e Desenvolvimento e aplicada na plataforma do GloboPlay, no início de 2017. O resultado da recomendação tem se provado muito acurado e o trilho de vídeos recomendados está constantemente entre os mais acessados do aplicativo.

Para ter sucesso em sua adoção o BIG DATA não deve ser encarado somente dentro de um viés tecnológico. Pessoas e Processos também são fundamentais para alcançar os objetivos de uma iniciativa analítica. Para isto, é fundamental estabelecer uma Governança sobre os dados, a fim de garantir qualidade, disponibilidade, privacidade e alinhamento com a estratégia corporativa.

Há um anos atrás a OLX Brasil começou a construir sua própria plataforma de experimentação para facilitar o processo de validação de mudanças no produto. Nesta palestra mostraremos o que motivou e como foi o processo de criação e evolução da plataforma de experimentação, mostrando alguns dos maiores desafios técnicos e culturais para a segmentação, tracking e análise dos dados e as soluções encontradas para dar a escala e agilidade necessárias à OLX

A palestra apresenta uma arquitetura capaz de processar dados em near real-time de forma robusta e confiável através da combinação Apache Flume + Apache Kafka, que permite criar um pipeline de ingestão de dados completo apenas realizando as devidas configurações e combiná-las de diversas formas de acordo com a necessidade do usuário. Durante a apresentação serão exibidos alguns exemplos de aplicações, assim como as formas nas quais essas duas tecnologias podem ser combinadas no pipeline para satisfazer tais casos.

Vivemos na era do Big Data, mas você já entende quais os controles que fazem tudo isso possivel e escalável? Venha ver quais são os passos que permitem você e sua empresa a ficarem sempre a frente da evolução garantindo bons resultados. E ainda por cima tem uma demo live no final.

Com o passar do tempo as ferramentas, técnicas, carga de dados e requisitos não funcionais, vem mudando no mundo de processamento em larga escala. Precisamos garantir além de tudo a resiliência a perda de dados e resiliência no processamento. O objetivo dessa conversa é compartilhar um pouco da vivência de projeto(aprendizados técnicos e não técnicos) sobre o que foi considerado para garantir o suporte de processamento de dados em streaming em um curto período de implementação, em um pipeline que anteriormente realizava apenas processamento em batch.