TDC BUSINESS
TECHNOLOGIES FOR TRANSFORMING BUSINESS

Trilha ENGENHARIA DE DADOS

"Para escrevê-lo , levou 3 meses; para concebê-lo, 3 minutos; para coletar os dados nele , toda a minha vida" - F.Scott Fitzgerald

Em meio a tantas áreas envolvendo dados, qual o papel da engenharia de dados?

Os dados, são o novo petróleo , disse Clive Humby, e nesse cenário, a engenharia de dados, faz o papel de uma refinaria. Já que assim como o petróleo , os dados também precisam passar por processamento e transformação para que possam ser usados.

É nesta área que a mágica dos dados começa. Capturar, preparar e torná-los acessíveis de forma fácil e padronizada é principal função da engenharia de dados. Mas não é só isso.

Essa área também deve criar todos os mecanismos de coleta, transformação e disponibilização desses dados, e mantê-los funcionais.

Você é profissional da área de dados ou quer se tornar um? Essa trilha é para você! Venha prestigiar , e fazer networking com profissionais da área, que estarão no TDC compartilhando suas experiências e disseminando conhecimento.

Date and Place

Monday, August 22, 2022

09h às 19h

ProMagno
Avenida Professora Ida Kolb - 513 /
Jardim das Laranjeiras - São Paulo - SP
IN-PERSON OR REMOTE ACCESS WITH ONLINE BROADCAST
Protocolo de Acesso Presencial

Investment

Valores para participação online:
1 track: R$ 200 for R$ 125
2 tracks: R$ 400 for R$ 226
3 tracks: R$ 600 for R$ 324
* enjoy bigger discount until JUL/04,
see full table

Valores para participação online:
1 track: R$ 200 for R$ 160
2 tracks: R$ 400 for R$ 288
3 tracks: R$ 600 for R$ 417
* price valid until AUG/12,
see full table

Valores para participação online:
1 track: R$ 200
2 tracks: R$ 400 for R$ 360
3 tracks: R$ 600 for R$ 519
* price valid until AUG/24,
see full table

Valores para participação híbrida:
1 track: R$ 340 for R$ 250
2 tracks: R$ 680 for R$ 450
3 tracks: R$ 1.020 for R$ 650

Valores para participação híbrida:
1 track: R$ 340 for R$ 275
2 tracks: R$ 680 for R$ 496
3 tracks: R$ 1.020 for R$ 714

Valores para participação híbrida:
1 track: R$ 340
2 tracks: R$ 680 for R$ 614
3 tracks: R$ 1.020 for R$ 885

Schedule / Talks Time Zone: GMT-3

Programação Stadium:
Time Content
07:45 to 08:55 Recepção dos Participantes
08:45 to 09:45 Opening of the event and mini keynotes

Abertura do evento com Yara Mascarenhas e Bruno Souza com novidades e convidados muito especiais : Tânia Cosentino - (Microsoft) / Leonardo Rezende - (Dock.Tech) / Edward Monteiro - (Stackspot)

09:50 to 10:30

EVENT KEYNOTE

Desconstruindo paradigmas para construir nosso futuro. Como a tecnologia impulsiona o negócio e juntos geram valor?

Rodrigo Galvão
Rodrigo Galvão, vice-presidente sênior de Tecnologia da Oracle levará ao TDC Business uma discussão sobre conexões, protagonismo do desenvolvedor, relação entre negócios, tecnologia, passado e futuro, pessoas como centro da transformação e muito mais: insights sobre gestão, inovação e como o empreendedorismo está o tempo todo em nossas vidas.
Programação desta Trilha:
Time Content
10:35 to 10:50 Track opening by coordination

Here the coordinators introduce themselves and make an introduction to the track.

10:55 to 11:30

Data Lake ACID escolhendo a ferramenta de atualização

Hugo Rozestraten

Nesta sessão serão apresentados conceitos de atualização de dados no Data Lake, semelhante ao que acontece em bancos de dados, e propriedades e diferenças do Apache Iceberg, Apache Hudi e Delta Lake. Atualmente há uma grande corrida dos times de engenharia de dados para escolher ferramentas de atualização de dados no data lake, para refletir a última versão dos dados, ou até mesmo remover dados que necessitam ser apagados. Traremos um exemplo prático de código funcional para cada uma delas com pequena demonstração.

11:40 to 12:15

Desafios para coleta de dados de Educação no Brasil e sua visualização utilizando dashbuilder.

Pedro Henrique de Oliveira Silva / William Siqueira

Quais os desafios encontrados para obtençao dos dados de Educação no Brasil em diferentes bases de dados, como dados de censo escolar, nota de Ideb, população do IBGE e também os valores repassados para os municipior relativos à Educação utilizando o sistema Repasse (http://repasse.ufabc.edu.br/). Ao fim, os dados coletados serão mostrados em formato de graficos e tabelas utilizando o dashbuilder.1

12:20 to 13:20 Intervalo para almoço

An excelent opportunity for all people in the event to interact and exchange ideas. Collaborators, sponsoring and supporting companies, speakers and technical committeé.

13:30 to 13:40 Track opening by coordination

Here the coordinators introduce themselves and make an introduction to the track.

13:45 to 14:20

DataMesh e Governança de dados: Como potencializar a entrega de valor na engenharia de dados.

Carlos Ornelas / Gabriel Bonifácio

Há algum tempo acompanhamos o exponencial crescimento da procura das empresas por utilizar, organizar e gerar valor com os dados. Mas como aliar essa entrega de valor aos princípios básicos da governança de dados? Nessa palestra iremos explorar um case de sucesso de um cliente, onde desenvolvemos um framework que, ao ser aplicado junto aos times técnicos e negócio, nos dá a oportunidade de traduzir o negócio do cliente na estruturação dos dados no Datalake, definir papéis e responsabilidades a serem compartilhadas pelos times técnico e de negócio, e preencher algumas lacunas importantes da geração de valor que buscamos sempre para a Engenharia de Dados.

14:25 to 15:00

Estruturando times de dados: lições aprendidas no campo

Sergio Zaccarelli

Que todas as empresas precisam de ter pessoas e times focados em trabalhar com dados e análises todos já sabem. Mas como começar? Qual a melhor forma de se estruturar? E os vínculos com o negócio, como se organizar de forma que se extraia o maior valor, e de forma mais rápida? Criaram uma grande variedade de perfis, mas é um desafio distinguir quais são necessários de acordo com as características da empresa, da maturidade, do tamanho, das tecnologias a utilizar para alavancagem de uso de dados. Minha proposta nessa apresentação é mostrar o que aprendi em 20 anos trabalhando com dados: escolhas, erros e acertos, e compartilhar dicas e orientações.

15:10 to 16:10

Governança de Dados sob o ponto de vista de Engenharia de Dados

Matheus Duarte Dias / Carlos Ornelas / Sergio Zaccarelli / Gabriel Bonifácio
Painel desta Trilha
16:20 to 16:50 Networking and Visiting Stands

Break to network and get to know the booths of the event.

17:00 to 17:35

DAG Factory: Construção de DAGs no Airflow a partir de arquivos yamls

Christian Hukai / Gustavo Simão Ribeiro Pinto

O Airflow é uma das ferramentas mais utilizadas no mercado para orquestração de fluxo de dados através de DAGs; contudo, essa construção torna-se limitada, já que seria necessário que todos os programadores soubessem desenvolvê-la.

Como solução, a equipe de Data Analytics do BTG Pactual desenvolveu internamente o DAG Factory, que gera automaticamente esse desenvolvimento, garantindo a ingestão dos dados até a geração de tabelas, atualização de reports ou uso em modelos de machine learning, sem que o programador precise ter conhecimento de uma DAG.

Para tal, toda a complexidade do Airflow foi abstraída em arquivos yamls, em paralelo que um repositório no gitlab com CI/CD.

17:45 to 18:20

Mascaramento de dados: como implementar com sucesso e com acesso granular

Iris Ferreira / Paulo Aragão

Como é possível construir uma arquitetura que faça a anomização dos dados e permita o acesso granular a eles de acordo com regras bem definidas. Também abordaremos o cenário em que um usuário pode não ter acesso para visualizar os dados, mas um aplicativo tem. Um caso de uso para esse cenário seria um Cientista de Dados trabalhando com dados confidenciais para treinar modelos de aprendizado de máquina. O algoritmo de treinamento tem acesso aos dados, mas o Cientista de Dados durante a análise de dados não consegue ver certas informações. Isso evita possíveis cenários de vazamento de dados, ao mesmo tempo em que permite a inovação por meio do uso de dados.

18:30 to 19:05

Modern Data Stack

Anderson Paulucci

A arquitetura de Data & Analytics está sendo transformada usando uma abordagem chamada MDS - Modern Data Stack, que permite focarmos mais recursos para a geração de insights e consequente mais valor. Simplificando algumas camadas da fundação de dados com mais governança, NoOps, DataOps e agilidade. Nesta apresentação iremos abordar o MDS com conceitos, fundamentos e cases de sucesso, bem como as tecnologias envolvidas.

Programação da Stadium no final do dia.:
Time Content
19:15 to 19:50 Closing session

After the presentation of the results of the day, on the Stadium stage, many sweepstakes will close the day.

Schedule subject to change

Sponsors





Apoio Institucional



Realização