Trilha ENGENHARIA DE DADOS
Na Engenharia de Dados, o objetivo é transformar dados brutos em ativos valiosos. Essa trilha é o ponto de encontro para profissionais e entusiastas que desejam explorar as fronteiras desta área. Vamos explorar desde a captura e processamento de dados até a criação de pipelines robustos e eficientes. Descubra as melhores práticas, ferramentas e estratégias que estão moldando o futuro da engenharia de dados.
Se você é um profissional de dados ou aspira a se tornar um, esta trilha é essencial para você. Participe, aprenda com os especialistas da indústria e amplie sua rede de contatos.
Patrocínio
O que é uma trilha?
A trilha é um evento híbrido, presencial em São Paulo e remoto na sua casa, que tem a duração de um dia inteiro com sete palestras e um painel de discussão.
Date and Place
Wednesday, September 18, 2024
09h às 19h
ProMagno
Avenida Professora Ida Kolb - 513 /
Jardim das Laranjeiras
São Paulo -
SP
IN-PERSON OR REMOTE ACCESS WITH ONLINE BROADCAST
Investment
Inscrição online
1 track:
R$ 270
for R$ 165
Inscrição online
1 track:
R$ 270
for R$ 245
Inscrição online
1 track: R$ 270
Inscrição híbrida (presencial + online)
1 track:
R$ 435
for R$ 275
Inscrição híbrida (presencial + online)
1 track:
R$ 435
for R$ 375
Inscrição híbrida (presencial + online)
1 track: R$ 435
Promoções
Inscrição híbrida (presencial + online)
2 tracks:
R$ 780
for R$ 499
*Economize: R$ 284
3 tracks:
R$ 1.107
for R$ 699
*Economize: R$ 408
Inscrição híbrida (presencial + online)
2 tracks:
R$ 750
for R$ 650
*Economize: R$ 100
3 tracks:
R$ 1.125
for R$ 951
*Economize: R$ 174
Inscrição híbrida (presencial + online)
2 tracks: R$ 750
3 tracks: R$ 1.050,00
Inscreva-se e ganhe um workshop
Faça sua inscrição em qualquer trilha Premium presencial e ganhe um workshop Bônus no mesmo dia! Mas não perca tempo pois as vagas são limitadas. Confira a lista completa de workshops aqui.
Esta trilha pertence à área
Confira as trilhas relacionadas:
Schedule / Talks Time Zone: GMT-3
| Programação Stadium: |
|---|
|
08:00 to 08:55 Credenciamento |
|
09:00 to 10:00 Opening of the event and mini keynotes |
| Programação desta Trilha: |
|---|
|
10:10 to 10:25 Track opening by coordinationHere the coordinators introduce themselves and make an introduction to the track. |
|
10:30 to 11:05 3 bilhões de registros por dia em near real time com Apache DruidIvan FalcãoO Apache Druid é um banco de dados OLAP NoSQL voltado para big data. Em nosso projeto, utilizando diversas ferramentas open source (Nifi, Kafka, Spark e Druid), conseguimos estruturar um fluxo de dados streaming capaz de transformar e enriquecer mais de 3 bilhões de registros por dia. Nesse cenário, realizamos queries analíticas em mais de 16 bilhões de registros em menos de 10 segundos. O objetivo dessa apresentação é apresentar a arquitetura utilizada e os desafios encontrados nesse projeto. 
|
|
11:15 to 11:50 Visão 360: Transformando Dados em Estratégias Personalizadas com IA GenerativaErika Nagaminevamos explorar como a engenharia de dados, combinada com a IA generativa, pode criar uma visão completa e integrada do cliente, conhecida como visão 360. Abordaremos as técnicas e ferramentas essenciais para coletar, integrar e analisar dados provenientes de diversas fontes, como sistemas CRM, redes sociais, interações de atendimento ao cliente e comportamento de compra. Abordaremos os desafios comuns na implementação dessa abordagem, como a integração de dados, a garantia da qualidade e da segurança dos dados, e as questões éticas relacionadas ao uso de IA. 
|
|
11:55 to 13:20 Intervalo para almoçoAn excelent opportunity for all people in the event to interact and exchange ideas. Collaborators, sponsoring and supporting companies, speakers and technical committeé. |
|
13:20 to 13:30 Track opening by coordinationHere the coordinators introduce themselves and make an introduction to the track. |
|
13:30 to 14:05 Uma Abordagem Moderna de Engenharia de Dados com Microsoft FabricWiliam RosaNesta palestra exploraremos como essa plataforma unifica e simplifica o processo de ingestão, processamento, análise e visualização de dados. Discutiremos as vantagens de automação, escalabilidade e integração oferecidas pelo Microsoft Fabric, destacando casos de uso práticos e melhores práticas para maximizar o valor dos dados nas organizações modernas. 
|
|
14:10 to 15:10 Engenheira de dados: Inovação e desafios na era com GenIATais Silva / Aline Pavan / Caroline Pereira da Nóbrega / Thayna Carvalho SilvaPainel de Discussão desta Trilha
|
|
15:15 to 15:45 Networking and Visiting StandsBreak to network and get to know the booths of the event. |
|
15:50 to 16:25 
Engenharia de Dados na Medicina Diagnóstica: Pipelines de Dados com Smart Data Fabric para Excelência ClínicaMarcio Rodrigo PereiraNeste mundo cada vez mais orientado por dados, a capacidade de integrar, analisar e utilizar informações de diversas fontes é essencial, especialmente em setores críticos como a medicina diagnóstica. Exploraremos como construir uma arquitetura de Data Pipeline eficiente e inovadora, utilizando os conceitos de Smart Data Fabric. Utilizando exemplos reais, mostraremos como essas abordagens podem não apenas melhorar a eficiência operacional, mas também conduzir a avanços significativos em diagnósticos e cuidados com a saúde. Descubra como a combinação de engenharia de dados avançada e inovação tecnológica pode transformar a medicina diagnóstica e gerar impacto positivo na vida dos pacientes. 
|
|
16:30 to 17:05 Ingestão em Tempo Real com Flink e Iceberg: Transformando Dados em AçõesReinaldo Yoshiaki ItoAo combinar o poder do Flink para leitura e processamento de dados em tempo real com a capacidade do Iceberg de criar bases de dados com características ACID, podemos desenvolver processos de ingestão robustos, de baixa latência e alta eficiência, garantindo uma maior qualidade dos dados armazenados. O objetivo da nossa palestra é demonstrar como isso pode ser alcançado de maneira simples e com custos controlados. 
|
|
17:10 to 17:45 DataOps com Databricks Asset BundleSergio PolimanteAcelere o desenvolvimento e deploy de seus projetos de dados com o poder do Databricks Asset Bundle! Nesta palestra prática, demonstraremos como criar, configurar e implantar um projeto de dados completo em diferentes ambientes (dev, QA e prod), aplicando as melhores práticas de DataOps. Aprenda a gerenciar permissões granulares, automatizar deployment de workflows complexos com parâmetros personalizados com job_clusters e permissões personalizadas. Saia com conhecimento para construir pipelines para fazer deploy de pipelines de engenharia de dados de maneira escalável, confiável e eficientes, prontos para produção! 
|
|
17:50 to 18:25 Data Quality em fluxos de dados no BigQueryFernando SedrezAprenda a identificar e prevenir problemas de dados, usando boas práticas para garantir a qualidade de forma contínua em seus dados. Nesta palestra, vamos explorar os desafios de qualidade em fluxos de dados no BigQuery, um dos principais desafios para a construção de pipelines de dados confiáveis. Abordaremos as principais causas de dados de baixa qualidade, como dados inconsistentes, incompletos ou inválidos, e como essas falhas podem impactar negativamente a tomada de decisões. 
|
| Programação da Stadium no final do dia: |
|---|
|
18:30 to 18:35 Encerramento da trilhaOs coordenadores fazem um breve encerramento com agradecimentos. |
Sulamita Mara Dantas
Brenda Xavier de Moura
Anice Almeida Alexandre
Cícero Moura
