Em meio a tantas áreas envolvendo dados, qual o papel da engenharia de dados?
Os dados, são o novo petróleo , disse Clive Humby, e nesse cenário, a engenharia de dados, faz o papel de uma refinaria. Já que assim como o petróleo , os dados também precisam passar por processamento e transformação para que possam ser usados.
É nesta área que a mágica dos dados começa. Capturar, preparar e torná-los acessíveis de forma fácil e padronizada é principal função da engenharia de dados. Mas não é só isso.
Essa área também deve criar todos os mecanismos de coleta, transformação e disponibilização desses dados, e mantê-los funcionais.
Você é profissional da área de dados ou quer se tornar um? Essa trilha é para você! Venha prestigiar , e fazer networking com profissionais da área, que estarão no TDC compartilhando suas experiências e disseminando conhecimento.
Segunda-feira, 22 de Agosto de 2022
09h às 19h
ProMagno
Avenida Professora Ida Kolb - 513 /
Jardim das Laranjeiras - São Paulo - SP
ACESSO PRESENCIAL OU REMOTO COM TRANSMISSÃO ONLINE
Protocolo de Acesso Presencial
Valores para participação online:
1 trilha: de R$ 200 por R$ 125
2 trilhas: de R$ 400 por R$ 226
3 trilhas: de R$ 600 por R$ 324
* aproveite maior desconto até 04/07,
veja tabela completa
Valores para participação online:
1 trilha: de R$ 200 por R$ 160
2 trilhas: de R$ 400 por R$ 288
3 trilhas: de R$ 600 por R$ 417
* preço válido até 12/08,
veja tabela completa
Valores para participação online:
1 trilha: R$ 200
2 trilhas: de R$ 400 por R$ 360
3 trilhas: de R$ 600 por R$ 519
* preço válido até 24/08,
veja tabela completa
Valores para participação híbrida:
1 trilha: de R$ 340 por R$ 250
2 trilhas: de R$ 680 por R$ 450
3 trilhas: de R$ 1.020 por R$ 650
Valores para participação híbrida:
1 trilha: de R$ 340 por R$ 275
2 trilhas: de R$ 680 por R$ 496
3 trilhas: de R$ 1.020 por R$ 714
Valores para participação híbrida:
1 trilha: R$ 340
2 trilhas: de R$ 680 por R$ 614
3 trilhas: de R$ 1.020 por R$ 885
| Horário | Conteúdo |
|---|---|
| 07:45 às 08:55 | Recepção dos Participantes |
| 08:45 às 09:45 |
Abertura do evento e mini keynotes
Abertura do evento com Yara Mascarenhas e Bruno Souza com novidades e convidados muito especiais : Tânia Cosentino - (Microsoft) / Leonardo Rezende - (Dock.Tech) / Edward Monteiro - (Stackspot) |
| 09:50 às 10:30 |
KEYNOTE DO EVENTO
Desconstruindo paradigmas para construir nosso futuro. Como a tecnologia impulsiona o negócio e juntos geram valor?Rodrigo GalvãoRodrigo Galvão, vice-presidente sênior de Tecnologia da Oracle levará ao TDC Business uma discussão sobre conexões, protagonismo do desenvolvedor, relação entre negócios, tecnologia, passado e futuro, pessoas como centro da transformação e muito mais: insights sobre gestão, inovação e como o empreendedorismo está o tempo todo em nossas vidas.
|
| Horário | Conteúdo |
|---|---|
| 10:35 às 10:50 |
Abertura da trilha pela coordenação
Aqui os coordenadores se apresentam e fazem uma introdução para a trilha. |
| 10:55 às 11:30 |
Data Lake ACID escolhendo a ferramenta de atualizaçãoHugo RozestratenNesta sessão serão apresentados conceitos de atualização de dados no Data Lake, semelhante ao que acontece em bancos de dados, e propriedades e diferenças do Apache Iceberg, Apache Hudi e Delta Lake. Atualmente há uma grande corrida dos times de engenharia de dados para escolher ferramentas de atualização de dados no data lake, para refletir a última versão dos dados, ou até mesmo remover dados que necessitam ser apagados. Traremos um exemplo prático de código funcional para cada uma delas com pequena demonstração. 
|
| 11:40 às 12:15 |
Desafios para coleta de dados de Educação no Brasil e sua visualização utilizando dashbuilder.Pedro Henrique de Oliveira Silva / William SiqueiraQuais os desafios encontrados para obtençao dos dados de Educação no Brasil em diferentes bases de dados, como dados de censo escolar, nota de Ideb, população do IBGE e também os valores repassados para os municipior relativos à Educação utilizando o sistema Repasse (http://repasse.ufabc.edu.br/). Ao fim, os dados coletados serão mostrados em formato de graficos e tabelas utilizando o dashbuilder.1 
|
| 12:20 às 13:20 |
Intervalo para almoço
Uma excelente oportunidade de todas as pessoas no evento interagirem e trocarem ideias, colaboradores, empresas patrocinadoras e apoiadoras, palestrantes e coordenadores. |
| 13:30 às 13:40 |
Abertura da trilha pela coordenação
Aqui os coordenadores se apresentam e fazem uma introdução para a trilha. |
| 13:45 às 14:20 |
DataMesh e Governança de dados: Como potencializar a entrega de valor na engenharia de dados.Carlos Ornelas / Gabriel BonifácioHá algum tempo acompanhamos o exponencial crescimento da procura das empresas por utilizar, organizar e gerar valor com os dados. Mas como aliar essa entrega de valor aos princípios básicos da governança de dados? Nessa palestra iremos explorar um case de sucesso de um cliente, onde desenvolvemos um framework que, ao ser aplicado junto aos times técnicos e negócio, nos dá a oportunidade de traduzir o negócio do cliente na estruturação dos dados no Datalake, definir papéis e responsabilidades a serem compartilhadas pelos times técnico e de negócio, e preencher algumas lacunas importantes da geração de valor que buscamos sempre para a Engenharia de Dados. 
|
| 14:25 às 15:00 |
Estruturando times de dados: lições aprendidas no campoSergio ZaccarelliQue todas as empresas precisam de ter pessoas e times focados em trabalhar com dados e análises todos já sabem. Mas como começar? Qual a melhor forma de se estruturar? E os vínculos com o negócio, como se organizar de forma que se extraia o maior valor, e de forma mais rápida? Criaram uma grande variedade de perfis, mas é um desafio distinguir quais são necessários de acordo com as características da empresa, da maturidade, do tamanho, das tecnologias a utilizar para alavancagem de uso de dados. Minha proposta nessa apresentação é mostrar o que aprendi em 20 anos trabalhando com dados: escolhas, erros e acertos, e compartilhar dicas e orientações. 
|
| 15:10 às 16:10 |
Governança de Dados sob o ponto de vista de Engenharia de DadosMatheus Duarte Dias / Carlos Ornelas / Sergio Zaccarelli / Gabriel BonifácioPainel desta Trilha
|
| 16:20 às 16:50 |
Networking e Visitação a Stands
Intervalo para fazer networking e conhecer os estandes do evento. |
| 17:00 às 17:35 |
DAG Factory: Construção de DAGs no Airflow a partir de arquivos yamlsChristian Hukai / Gustavo Simão Ribeiro PintoO Airflow é uma das ferramentas mais utilizadas no mercado para orquestração de fluxo de dados através de DAGs; contudo, essa construção torna-se limitada, já que seria necessário que todos os programadores soubessem desenvolvê-la. Como solução, a equipe de Data Analytics do BTG Pactual desenvolveu internamente o DAG Factory, que gera automaticamente esse desenvolvimento, garantindo a ingestão dos dados até a geração de tabelas, atualização de reports ou uso em modelos de machine learning, sem que o programador precise ter conhecimento de uma DAG. Para tal, toda a complexidade do Airflow foi abstraída em arquivos yamls, em paralelo que um repositório no gitlab com CI/CD. 
|
| 17:45 às 18:20 |
Mascaramento de dados: como implementar com sucesso e com acesso granularIris Ferreira / Paulo AragãoComo é possível construir uma arquitetura que faça a anomização dos dados e permita o acesso granular a eles de acordo com regras bem definidas. Também abordaremos o cenário em que um usuário pode não ter acesso para visualizar os dados, mas um aplicativo tem. Um caso de uso para esse cenário seria um Cientista de Dados trabalhando com dados confidenciais para treinar modelos de aprendizado de máquina. O algoritmo de treinamento tem acesso aos dados, mas o Cientista de Dados durante a análise de dados não consegue ver certas informações. Isso evita possíveis cenários de vazamento de dados, ao mesmo tempo em que permite a inovação por meio do uso de dados. 
|
| 18:30 às 19:05 |
Modern Data StackAnderson PaulucciA arquitetura de Data & Analytics está sendo transformada usando uma abordagem chamada MDS - Modern Data Stack, que permite focarmos mais recursos para a geração de insights e consequente mais valor. Simplificando algumas camadas da fundação de dados com mais governança, NoOps, DataOps e agilidade. Nesta apresentação iremos abordar o MDS com conceitos, fundamentos e cases de sucesso, bem como as tecnologias envolvidas. 
|
| Horário | Conteúdo |
|---|---|
| 19:15 às 19:50 |
Encerramento
Após a apresentação de resultados do dia, no palco da Stadium, muitos sorteios fecharão o dia. |
Fernanda Leite
Johnathan Cardoso
Leonardo Fonseca
Lia Yumi Morimoto
