TDC São Paulo
TECHNOLOGIES FOR TRANSFORMING BUSINESS

Trilha ENGENHARIA DE DADOS

De Bits a Insights: Os caminhos da Engenharia de Dados

Na Engenharia de Dados, o objetivo é transformar dados brutos em ativos valiosos. Essa trilha é o ponto de encontro para profissionais e entusiastas que desejam explorar as fronteiras desta área. Vamos explorar desde a captura e processamento de dados até a criação de pipelines robustos e eficientes. Descubra as melhores práticas, ferramentas e estratégias que estão moldando o futuro da engenharia de dados.

Se você é um profissional de dados ou aspira a se tornar um, esta trilha é essencial para você. Participe, aprenda com os especialistas da indústria e amplie sua rede de contatos.

Patrocínio

Factored

O que é uma trilha?

A trilha é um evento híbrido, presencial em São Paulo e remoto na sua casa, que tem a duração de um dia inteiro com sete palestras e um painel de discussão.

Date and Place

Wednesday, September 18, 2024

09h às 19h

ProMagno
Avenida Professora Ida Kolb - 513 /
Jardim das Laranjeiras São Paulo - SP
IN-PERSON OR REMOTE ACCESS WITH ONLINE BROADCAST

Investment

Inscrição online
1 track: R$ 270 for R$ 165

Inscrição online
1 track: R$ 270 for R$ 245

Inscrição online
1 track: R$ 270

Inscrição híbrida (presencial + online)
1 track: R$ 435 for R$ 275

* enjoy bigger discount until JUL/11, see full table

Inscrição híbrida (presencial + online)
1 track: R$ 435 for R$ 375

* price valid until AUG/27, see full table

Inscrição híbrida (presencial + online)
1 track: R$ 435

* price valid until SEP/20, see full table

Promoções

Inscrição híbrida (presencial + online)
2 tracks: R$ 780 for R$ 499 *Economize: R$ 284
3 tracks: R$ 1.107 for R$ 699 *Economize: R$ 408

* enjoy bigger discount until JUL/11, see full table

Inscrição híbrida (presencial + online)
2 tracks: R$ 750 for R$ 650 *Economize: R$ 100
3 tracks: R$ 1.125 for R$ 951 *Economize: R$ 174

* price valid until AUG/27, see full table

Inscrição híbrida (presencial + online)
2 tracks: R$ 750
3 tracks: R$ 1.050,00

* price valid until SEP/20, see full table

Inscreva-se e ganhe um workshop

Faça sua inscrição em qualquer trilha Premium presencial e ganhe um workshop Bônus no mesmo dia! Mas não perca tempo pois as vagas são limitadas. Confira a lista completa de workshops aqui.

Esta trilha pertence à área

Confira as trilhas relacionadas:

Schedule / Talks Time Zone: GMT-3

Programação Stadium:

08:00 to 08:55

Credenciamento

09:00 to 10:00

Opening of the event and mini keynotes
Programação desta Trilha:

10:10 to 10:25

Track opening by coordination

Here the coordinators introduce themselves and make an introduction to the track.

10:30 to 11:05

3 bilhões de registros por dia em near real time com Apache Druid

Ivan Falcão

O Apache Druid é um banco de dados OLAP NoSQL voltado para big data. Em nosso projeto, utilizando diversas ferramentas open source (Nifi, Kafka, Spark e Druid), conseguimos estruturar um fluxo de dados streaming capaz de transformar e enriquecer mais de 3 bilhões de registros por dia. Nesse cenário, realizamos queries analíticas em mais de 16 bilhões de registros em menos de 10 segundos. O objetivo dessa apresentação é apresentar a arquitetura utilizada e os desafios encontrados nesse projeto.

11:15 to 11:50

Visão 360: Transformando Dados em Estratégias Personalizadas com IA Generativa

Erika Nagamine

vamos explorar como a engenharia de dados, combinada com a IA generativa, pode criar uma visão completa e integrada do cliente, conhecida como visão 360. Abordaremos as técnicas e ferramentas essenciais para coletar, integrar e analisar dados provenientes de diversas fontes, como sistemas CRM, redes sociais, interações de atendimento ao cliente e comportamento de compra. Abordaremos os desafios comuns na implementação dessa abordagem, como a integração de dados, a garantia da qualidade e da segurança dos dados, e as questões éticas relacionadas ao uso de IA.

11:55 to 13:20

Intervalo para almoço

An excelent opportunity for all people in the event to interact and exchange ideas. Collaborators, sponsoring and supporting companies, speakers and technical committeé.

13:20 to 13:30

Track opening by coordination

Here the coordinators introduce themselves and make an introduction to the track.

13:30 to 14:05

Uma Abordagem Moderna de Engenharia de Dados com Microsoft Fabric

Wiliam Rosa

Nesta palestra exploraremos como essa plataforma unifica e simplifica o processo de ingestão, processamento, análise e visualização de dados. Discutiremos as vantagens de automação, escalabilidade e integração oferecidas pelo Microsoft Fabric, destacando casos de uso práticos e melhores práticas para maximizar o valor dos dados nas organizações modernas.

14:10 to 15:10

Engenheira de dados: Inovação e desafios na era com GenIA

Tais Silva / Aline Pavan / Caroline Pereira da Nóbrega / Thayna Carvalho Silva
Painel de Discussão desta Trilha

15:15 to 15:45

Networking and Visiting Stands

Break to network and get to know the booths of the event.

15:50 to 16:25

Engenharia de Dados na Medicina Diagnóstica: Pipelines de Dados com Smart Data Fabric para Excelência Clínica

Marcio Rodrigo Pereira

Neste mundo cada vez mais orientado por dados, a capacidade de integrar, analisar e utilizar informações de diversas fontes é essencial, especialmente em setores críticos como a medicina diagnóstica. Exploraremos como construir uma arquitetura de Data Pipeline eficiente e inovadora, utilizando os conceitos de Smart Data Fabric.

Utilizando exemplos reais, mostraremos como essas abordagens podem não apenas melhorar a eficiência operacional, mas também conduzir a avanços significativos em diagnósticos e cuidados com a saúde. Descubra como a combinação de engenharia de dados avançada e inovação tecnológica pode transformar a medicina diagnóstica e gerar impacto positivo na vida dos pacientes.

16:30 to 17:05

Ingestão em Tempo Real com Flink e Iceberg: Transformando Dados em Ações

Reinaldo Yoshiaki Ito

Ao combinar o poder do Flink para leitura e processamento de dados em tempo real com a capacidade do Iceberg de criar bases de dados com características ACID, podemos desenvolver processos de ingestão robustos, de baixa latência e alta eficiência, garantindo uma maior qualidade dos dados armazenados.

O objetivo da nossa palestra é demonstrar como isso pode ser alcançado de maneira simples e com custos controlados.

17:10 to 17:45

DataOps com Databricks Asset Bundle

Sergio Polimante

Acelere o desenvolvimento e deploy de seus projetos de dados com o poder do Databricks Asset Bundle! Nesta palestra prática, demonstraremos como criar, configurar e implantar um projeto de dados completo em diferentes ambientes (dev, QA e prod), aplicando as melhores práticas de DataOps. Aprenda a gerenciar permissões granulares, automatizar deployment de workflows complexos com parâmetros personalizados com job_clusters e permissões personalizadas. Saia com conhecimento para construir pipelines para fazer deploy de pipelines de engenharia de dados de maneira escalável, confiável e eficientes, prontos para produção!

17:50 to 18:25

Data Quality em fluxos de dados no BigQuery

Fernando Sedrez

Aprenda a identificar e prevenir problemas de dados, usando boas práticas para garantir a qualidade de forma contínua em seus dados. Nesta palestra, vamos explorar os desafios de qualidade em fluxos de dados no BigQuery, um dos principais desafios para a construção de pipelines de dados confiáveis. Abordaremos as principais causas de dados de baixa qualidade, como dados inconsistentes, incompletos ou inválidos, e como essas falhas podem impactar negativamente a tomada de decisões.

Programação da Stadium no final do dia:

18:30 to 18:35

Encerramento da trilha

Os coordenadores fazem um breve encerramento com agradecimentos.

Schedule subject to change

Sponsors


Gold



Exclusivo Digital



Community Lounge


Gold | TDC +Diversidade

Apoio | TDC +Diversidade


Hacking Lounge

Fórum Executivo


Fórum Computação Quântica


Podcast

Hub de Mentoria

Parceiro Oficial de Tecnologia


Patrocínio Trilha

Realização