Métricas, métricas, métricas! No Elo7, tanto as métricas de sistema (cpu, mémoria, disco, logs, etc) quanto as métricas de negócio (pedidos, carrinhos, mensagens) importam bastante. Tudo o que acontece no site é capturado, metrificado e monitorado em tempo real para que nós possamos saber se estamos indo bem ou mal e para onde devemos seguir. Para que isso seja possível nós criamos o Elytics: um conjunto de ferramentas combinadas com o propósito de fornecer uma solução completa para a análise de dados e tomada de decisão em tempo real.

A construção de um serviço de recomendação escalável, com boa testabilidade e que possibilite evolução de forma ágil, não é uma tarefa trivial. As principais técnicas para construção de sistemas de recomendação são bem conhecidas, mas a sua utilização na prática traz desafios cujas soluções requerem alguns anos de experiência em aplicações reais, ainda mais relevante quando se tem mais de 1TB de dados dos usuários, todos os dias. Nesta palestra será apresentada a experiência da OLX com sistemas de recomendação e todos os processos envolvidos na sua criação, como um produto de dados,desde as dificuldades encontradas no levantamento dos dados até os últimos testes.

Big Data está proporcionando vantagens competitivas para empresas por meio da extração de valor de grande volume de dados. Para isso, sabemos da necessidade de profissionais habilitados para lidar com os dados, desde sua captura, até sua utilização efetiva nos negócios. Mas casos de uso de sucesso em Big Data comprovam que mais do que conhecimento, a criatividade para transformar os dados em valor é que se torna um diferencial competitivo. A palestrante apresentará casos de uso inspiradores de Big Data, e dará diretrizes para que empresas possam explorar essa area com sucesso.

Com a demanda atual dados, sistemas tradicionais de BI vem apresentando problemas tanto de escalabilidade como de disponibilidade e manutenção. Além disso esse tipo de sistema possui custo extremamente elevado em hardware como os appliances e custos de licenciamento dos softwares.

Por outro lado Big Data se mostra uma alternativa exponencialmente mais potente e muito mais barata.

Então, como eu posso migrar meu BI para o mundo de Big Data,

Nessa palestra veremos com utilizar um sistema baseado em ferramentas de Big Data, os processos e a modelagem de dados para criar nosso BI.

Abordaremos a ferramentas Streamsets (ETL), Cassandra/Hive (BD), PrestoDB (OLAP) e Superset (Visualização).

Pilares importantes trazidos do Business Intelligence, uma metodologia aplicada há mais de dez anos nas empresas, podem servir como base para atender as novas demandas do Big-Data. Como esses conceitos e ferramentas podem trabalhar juntos. Tanto como um desenvolvedor, arquiteto ou gestor é necessário compreender a evolução das demandas de nossos usuários, se atentar quais são as propostas dos provedores de tecnologia para o mundo de análise de dados. Nesta palestra iremos falar sobre conceitos, compreender as mudanças, metologia nas implementações e diferenças na arquitetura algumas plataformas existentes no mercado para análise de dados.

Um dos grandes desafios quando desenvolvemos um sistema de Workload Analítico em Tempo Real é trabalhar com dados que mudam de forma rápida em um intervalo de tempo muito baixo.

A proposta dessa apresentação é justamente demonstrar como o Apache Kudu pode facilitar a utilização desse tipo de caso de uso e ao final realizar uma demonstração na prática de uma solução que contempla essa questão.

Mostrar um caso de uso de uma aplicação de comparação de preços por produtos, apresentando todo o fluxo percorrido dos dados . Apresenta o uso de tecnologias do ecossitema Apache Hadoop para realizar o processamento near real-time dos dados.

Hoje cada vez mais as empresas estão buscando insights de negócio analisando grandes massas de dados geradas por uma infinidade de sistemas. Para chegar neste patamar de Analytics em Big Data é necessário construir um pipeline de ETL que permita processar dados crus obtidos de diversas fontes e transformá-los em uma massa apropriada para análise com ferramentas como o Tableau.

Este processo pode ser realizado por meio de uma série de métodos/ferramentas, mas nesta apresentação irei mostrar um modelo unificado de programação criado no Google e aberto OpenSource com o nome de Apache Beam. Construiremos um simples pipeline que será executado na nuvem pelo serviço Google Cloud Dataflow.