Você já imaginou migrar todo seu ambiente SQL para NoSQL ? Nessa palestra irei apresentar minha trajetória de migrações, esforços e aprendizagens com cases de sucesso.

Estamos vivendo na era do Big Data. Segundo pesquisas, a cada dois anos dobramos a quantidade de dados que são produzidos nos anos anteriores. Para conseguir analisar essa quantidade de dados, são necessárias ferramentas eficientes de ingestão, mensageria, armazenamento e processamento dos dados. Essa palestra tem como objetivo apresentar ferramentas eficientes para cada uma dessas tarefas: Kafka, Elastic Search e PySpark. Iremos abordar duas arquiteturas de Big Data: Lambda e Kappa. A palestra ainda contará com um hands-on no qual iremos utilizar as ferramentas propostas para ingestão, armazenamento e processamento de tweets em tempo-real.

Elasticsearch é uma engine de busca largamente utilizada para busca textual, análise de logs e várias outras aplicações. Na In Loco, nossas instâncias recebem, em horários de pico, até 3 milhões de escritas por minuto, indexando os documentos em near real-time e possibilitando a extração de todo seu potencial como motor de busca.

Chegar nesse patamar exigiu estudar mais a fundo como essa ferramenta funciona, para que pudessem ser feitas otimizações como utilização correta de índices, escolha do hardware mais adequado e configurações avançadas de setup no banco. Nessa talk, iremos expor nossa história com o Elasticsearch e como conseguimos tirar proveito dele.

No dia a dia do usuário cada segundo é importante, sendo que esperar muito tempo por uma informação é tão ruim quanto não ter essas informações. O objetivo desta palestra será demonstrar como são realizadas consultas e agregações em um alto volume de dados de forma performática com Elasticsearch e quais estudos, comparações e técnicas aplicadas entre os bancos ORACLE, MongoDB, PostgreSQL e Elasticsearch para decidir qual tecnologia deveria ser utilizada neste cenário.

Vamos explicar durante a palestra como utilizamos o Azkaban para gerenciar mais de 1000 jobs desde 2018 na área de Big Data & AI. Também abordaremos como solucionamos a dificuldade inicial com a verbosidade e complexidade do Azkaban com duas ferramentas open-source criadas pelo time: Auror e Azkaban CLI. O Auror é uma camada que permite escrever jobs e flows Spark e Python para o Azkaban de uma forma simples. O Azkaban CLI é uma interface via linha de comando que utiliza a API do Azkaban para fazer as integrações sem precisar de uma interface gráfica, simplificando até mesmo pipelines de CI e CD.

Trabalhar e analisar grandes volumes de dados já é um desafio vivenciado nas empresas. Venha conhecer a nova feature do SQL Server 2019, que fornece um ambiente completo para Big Data, incluindo ML e IA.

A estratégia para inteligência analítica nas organizações e a evolução dos principais elementos para uma arquitetura de solução de Analytics, Business Intelligence, Data Warehousing e Data Laking são relevantes na modernização e digitalização dos negócios. Uma abordagem prática para a modernização do seu data warehouse é proposta a partir dos serviços mais recentes disponíveis na Oracle Cloud, levando em consideração aspectos ótimos de software, hardware e computação em nuvem. Tudo isso combinado com o uso de inteligência artificial para a operação e manutenção do seu data warehouse com esforço humano reduzido.

Data Lake Multi-Cloud é uma grande realidade nas empresas atualmente, onde são contratados diversos Cloud's Providers. Nesse cenário sistemas começam a nascer em diversos players e como fica o Analytics? Em um mundo onde precisamos coletar informações de n fontes para compor um algorítimo de Machine Learning, qual é a estratégia e arquitetura que podemos adotar? Virtualização de Dados, Gravidade dos Dados e Linhagem dos Dados, são alguns dos tópicos dessa grande conversa.

Veja como utilizar bancos de dados que aproveitam os benefícios do Modelo Relacional, que oferece profundo suporte a SQL, Transações, e Integridade, com os benefícios do modelo NoSQL de Documentos, que oferece a Simplicidade e Flexibilidade do JSON.

Falaremos dos desafios encontrados e o planejamento para montar uma arquitetura para processar 8 milhões de queries em múltiplos bancos de dados. Mostraremos como saber se o retorno é performático ou não de acordo com o estudo de normalização dos resultados de performance, auxiliando os devs a obter uma melhor experiencia com os insights gerados e assim, agregando valor ao produto.