TDC CONNECTIONS
Building Software in the Connected World

A modelagem de bancos de dados relacionais também conhecida como projeto de banco de dados (modelagem conceitual, lógica e física) é um processo bastante disseminado pelo mundo a fora. Igualmente aos outros tipos de bancos de dados NoSQL (documentos, chave valor e família de colunas), a modelagem para os bancos de dados de grafos também é livre, porém existem etapas que facilitam a descoberta dos seus nós, relacionamentos, atributos, entre outros e auxiliam a criação de um modelo de dados de grafos eficiente. Nesta palestra veremos como criar um modelo de dados de grafo de forma fácil e objetiva aplicando o resultado final em um banco de dados de grafos Neo4J.

O objetivo da palestra é mostrar ferramentas atuais e modernas para solucionar o problema de Stream de dados no ambiente de Big Data. O foco será na ferramenta Debezium, que contém uma stack que utiliza o Kafka e Kafka Connect permitindo aquisição de dados em tempo real dos bancos de dados relacionais e não relacionais. Depois da camada de aquisição será abordado a camada de armazenamento no AWS S3 e toda a organização de camadas de um Data Lake. Para o processamento dos dados o AWS EMR com o framework Delta Lake será utilizado e para orquestração o AWS Lambda. Toda essa arquitetura será automatizada e gerenciada pelo Terraform e estreira de CI/CD no Gitlab.

Nesta palestra vamos apresentar o Spark de uma maneira simples, atendendo as expectativas dos espectadores iniciantes e daqueles com conhecimento mais avançado; para isso vamos introduzir o conceito de processamento paralelo e distribuído, abordando o propósito e situações mais comuns de uso dessa tecnologia. Apresentaremos os elementos arquiteturais do Spark e particionamento, vendo na prática as técnicas de map reduce e conhecendo a maneira como Spark lida com estas operações.

Encerraremos a palestra falando sobre fine tuning e apresentando um case real, onde utilizamos Spark para processar grandes quantidades de dados e habilitar novas oportunidades para o negócio.

Introdução da ferramenta AirFlow com criação de data pipeline para geração de um datawarehouse. Os pipelines de dados hoje, fazem grande parte de como um dado pode se transformar em informação para as empresas, de como tirar valor dela. A ferramenta em si pode ser utilizada de diversas maneiras, criando grandes fluxos com inúmeras dependência e pode virar um caos ao primeiro contato. A idéia é trazer algo prático que seja fácil de entender e de começar.

Durante vários eventos como Olimpíadas, Copas do Mundo, Eleições e Big Brother Brasil a Globo aprende mais sobre seus usuários para oferecer as melhores ofertas de conteúdo em diversos produtos. Grande parte das informações são capturadas via o Horizon, uma plataforma de que possibilita a fácil criação e analise de dados de vários produtos da globo como GloboPlay, G1, Gshow.

Vamos entender como funciona a arquitetura elástica desta plataforma, linguagens utilizadas, tecnologias e conceitos que podem ser usados em empresas de vários tamanhos. Passaremos desde o uso de SDKs (Android, iOS, JS) até o data lake hospedado em um cluster Hadoop.

Data is the new Bacon e ingestão em tempo real se faz necessária desde a ingestão de logs para observability do ambiente, até o monitoramento de transações financeiras para cálculos e analises de Business Intelligence. Nesta palestra, vamos falar um pouco sobre como fazer a ingestão, processamento e armazenamento de dados na AWS. Pouca parte teórica e muita prática, para que voce saia da palestra já com conhecimentos suficientes para fazer o deploy e operar um ambiente event-stream na AWS.

No concorrido mundo da tecnologia, melhorias de milissegundos em performance podem fazer toda a diferença para seus clientes. Dessa necessidade, surgiram diversos paradigmas e frameworks, exigindo paralelamente um bom e rápido desempenho na persistência da informação. Neste cenário nasceu o Apache Cassandra, o banco de dados NoSQL, elástico, tolerante a falhas e com um alto grau de performance. O Cassandra é um banco de dados não relacional originado pelo Facebook, e hoje é um projeto open source dentro da Apache Foundation com cases de sucessos nas maiores empresas do mundo, como o Netflix, GitHub, eBay, dentre outros.