TDC CONNECTIONS
Building Software in the Connected World

Trilha BIG DATA e NOSQL

In God we trust. All others must bring data. W. Edwards Deming

O crescimento exponencial da quantidade de dados relevantes nas aplicações nos traz grandes desafios: Como analisar todas essas informações de maneira que façam sentido juntas? Como padronizar o formato, sem adicionar complexidade? Como disponibilizar dados em uma arquitetura útil e confiável para atender diferentes públicos e áreas de negócio? Quais ferramentas e tecnologias podemos utilizar?

NoSQL e BigData vivem um em função do outro. A ascensão contínua de novas tecnologias, incentivam o armazenamento de maiores volumes de dados.

Entenda como essas tecnologias e conceitos do mercado de Data podem nos ajudar no dia a dia, mudando a nossa forma de garantir a qualidade dos dados, seu tratamento da forma correta e utilização. É o que você vai encontrar na trilha BigData & NoSQL.

Date

Thursday, June 10, 2021

09h às 19h

ONLINE - LIVE ONLY!

Investment

1 track: R$ 145 for R$ 110
2 tracks: R$ 290 for R$ 198
3 tracks: R$ 435 for R$ 285
* price valid until APR/26, see full table

1 track: R$ 145 for R$ 130
2 tracks: R$ 290 for R$ 230
3 tracks: R$ 435 for R$ 330
* price valid until MAY/28, see full table

1 track: R$ 145
2 tracks: R$ 290 for R$ 260
3 tracks: R$ 435 for R$ 370
* price valid until JUN/10, see full table

How to register

Schedule / Talks Time Zone: GMT-3

Time Content
09:00 to 09:30 Opening of the event and mini keynote

On the Stadium stage, everyone will be guided on how the event works, highlights and other news.

09:35 to 10:25

Tecnologias exponenciais para geração de impacto.

Mariana Brunelli / Gustavo Pereira. / Iglá Lear Generoso
Com uma tese de impacto social que está beneficiando mais de 450 mil devs e as empresas mais inovadoras do mundo, gerando centenas de oportunidades de emprego todos os meses, a sessão abordará como a Digital Innovation One (DIO) está usando Big Data, Cloud, Tecnologias Móveis e Growth Hacking para acelerar a transformação social através da educação e empregabilidade.
10:30 to 10:45 Track opening by coordination

Here the coordinators introduce themselves and make an introduction to the track.

10:50 to 11:25

Modelagem de dados para BDs de Grafos | Exemplo prático com Neo4J!

Leonardo Roberto Marinho Farias

A modelagem de bancos de dados relacionais também conhecida como projeto de banco de dados (modelagem conceitual, lógica e física) é um processo bastante disseminado pelo mundo a fora. Igualmente aos outros tipos de bancos de dados NoSQL (documentos, chave valor e família de colunas), a modelagem para os bancos de dados de grafos também é livre, porém existem etapas que facilitam a descoberta dos seus nós, relacionamentos, atributos, entre outros e auxiliam a criação de um modelo de dados de grafos eficiente. Nesta palestra veremos como criar um modelo de dados de grafo de forma fácil e objetiva aplicando o resultado final em um banco de dados de grafos Neo4J.

11:30 to 12:05

Arquitetura para Stream de Dados em Data Lake com Debezium, EMR e Delta Lake

Cícero Moura / Marco Antônio Andrade Nogueira

O objetivo da palestra é mostrar ferramentas atuais e modernas para solucionar o problema de Stream de dados no ambiente de Big Data. O foco será na ferramenta Debezium, que contém uma stack que utiliza o Kafka e Kafka Connect permitindo aquisição de dados em tempo real dos bancos de dados relacionais e não relacionais. Depois da camada de aquisição será abordado a camada de armazenamento no AWS S3 e toda a organização de camadas de um Data Lake. Para o processamento dos dados o AWS EMR com o framework Delta Lake será utilizado e para orquestração o AWS Lambda. Toda essa arquitetura será automatizada e gerenciada pelo Terraform e estreira de CI/CD no Gitlab.

12:10 to 12:45

Big Data com Spark em meia hora e sem complicação

Jéssica Álvares Jordão de Oliveira

Nesta palestra vamos apresentar o Spark de uma maneira simples, atendendo as expectativas dos espectadores iniciantes e daqueles com conhecimento mais avançado; para isso vamos introduzir o conceito de processamento paralelo e distribuído, abordando o propósito e situações mais comuns de uso dessa tecnologia. Apresentaremos os elementos arquiteturais do Spark e particionamento, vendo na prática as técnicas de map reduce e conhecendo a maneira como Spark lida com estas operações.

Encerraremos a palestra falando sobre fine tuning e apresentando um case real, onde utilizamos Spark para processar grandes quantidades de dados e habilitar novas oportunidades para o negócio.

12:50 to 13:50 Networking and Visiting Stands

Break to network and get to know the booths of the event.

14:00 to 14:05 Track opening by coordination

Here the coordinators introduce themselves and make an introduction to the track.

14:10 to 14:45

Desmistificando AirFlow

Felipe Eduardo Drechsler Lourenço

Introdução da ferramenta AirFlow com criação de data pipeline para geração de um datawarehouse. Os pipelines de dados hoje, fazem grande parte de como um dado pode se transformar em informação para as empresas, de como tirar valor dela. A ferramenta em si pode ser utilizada de diversas maneiras, criando grandes fluxos com inúmeras dependência e pode virar um caos ao primeiro contato. A idéia é trazer algo prático que seja fácil de entender e de começar.

14:50 to 16:05

Os diferentes cargos e funções dos profissionais de Dados

Guilherme Defreitas / Andherson Maeda
Painel Digital desta Trilha
16:10 to 16:25 Networking and Visiting Stands

Break to network and get to know the booths of the event.

16:25 to 17:00

100 milhoes de usuarios e um tsuname de requests

Ueliton Freitas

Durante vários eventos como Olimpíadas, Copas do Mundo, Eleições e Big Brother Brasil a Globo aprende mais sobre seus usuários para oferecer as melhores ofertas de conteúdo em diversos produtos. Grande parte das informações são capturadas via o Horizon, uma plataforma de que possibilita a fácil criação e analise de dados de vários produtos da globo como GloboPlay, G1, Gshow.

Vamos entender como funciona a arquitetura elástica desta plataforma, linguagens utilizadas, tecnologias e conceitos que podem ser usados em empresas de vários tamanhos. Passaremos desde o uso de SDKs (Android, iOS, JS) até o data lake hospedado em um cluster Hadoop.

17:05 to 17:40

Ingestão e processamento de dados real time com Kinesis Data Streams

Amanda Quinto

Data is the new Bacon e ingestão em tempo real se faz necessária desde a ingestão de logs para observability do ambiente, até o monitoramento de transações financeiras para cálculos e analises de Business Intelligence. Nesta palestra, vamos falar um pouco sobre como fazer a ingestão, processamento e armazenamento de dados na AWS. Pouca parte teórica e muita prática, para que voce saia da palestra já com conhecimentos suficientes para fazer o deploy e operar um ambiente event-stream na AWS.

17:45 to 18:20

Apache Cassandra: Escalabilidade horizontal para aplicações Java

OTAVIO GONCALVES DE SANTANA

No concorrido mundo da tecnologia, melhorias de milissegundos em performance podem fazer toda a diferença para seus clientes. Dessa necessidade, surgiram diversos paradigmas e frameworks, exigindo paralelamente um bom e rápido desempenho na persistência da informação. Neste cenário nasceu o Apache Cassandra, o banco de dados NoSQL, elástico, tolerante a falhas e com um alto grau de performance. O Cassandra é um banco de dados não relacional originado pelo Facebook, e hoje é um projeto open source dentro da Apache Foundation com cases de sucessos nas maiores empresas do mundo, como o Netflix, GitHub, eBay, dentre outros.

18:25 to 18:45 Open Space

18:50 to 19:05 Closing session

After the presentation of the results of the day, on the Stadium stage, many sweepstakes will close the day.

Schedule subject to change

Technical Committee - Trilha BIG DATA e NOSQL

Sponsors




Apoio

Apoio Trilha


Apoio Mídia


Realização