TDC São Paulo
TECNOLOGIAS PARA NEGÓCIOS TRANSFORMADORES

O Apache Druid é um banco de dados OLAP NoSQL voltado para big data. Em nosso projeto, utilizando diversas ferramentas open source (Nifi, Kafka, Spark e Druid), conseguimos estruturar um fluxo de dados streaming capaz de transformar e enriquecer mais de 3 bilhões de registros por dia. Nesse cenário, realizamos queries analíticas em mais de 16 bilhões de registros em menos de 10 segundos. O objetivo dessa apresentação é apresentar a arquitetura utilizada e os desafios encontrados nesse projeto.

vamos explorar como a engenharia de dados, combinada com a IA generativa, pode criar uma visão completa e integrada do cliente, conhecida como visão 360. Abordaremos as técnicas e ferramentas essenciais para coletar, integrar e analisar dados provenientes de diversas fontes, como sistemas CRM, redes sociais, interações de atendimento ao cliente e comportamento de compra. Abordaremos os desafios comuns na implementação dessa abordagem, como a integração de dados, a garantia da qualidade e da segurança dos dados, e as questões éticas relacionadas ao uso de IA.

Nesta palestra exploraremos como essa plataforma unifica e simplifica o processo de ingestão, processamento, análise e visualização de dados. Discutiremos as vantagens de automação, escalabilidade e integração oferecidas pelo Microsoft Fabric, destacando casos de uso práticos e melhores práticas para maximizar o valor dos dados nas organizações modernas.

Neste mundo cada vez mais orientado por dados, a capacidade de integrar, analisar e utilizar informações de diversas fontes é essencial, especialmente em setores críticos como a medicina diagnóstica. Exploraremos como construir uma arquitetura de Data Pipeline eficiente e inovadora, utilizando os conceitos de Smart Data Fabric.

Utilizando exemplos reais, mostraremos como essas abordagens podem não apenas melhorar a eficiência operacional, mas também conduzir a avanços significativos em diagnósticos e cuidados com a saúde. Descubra como a combinação de engenharia de dados avançada e inovação tecnológica pode transformar a medicina diagnóstica e gerar impacto positivo na vida dos pacientes.

Ao combinar o poder do Flink para leitura e processamento de dados em tempo real com a capacidade do Iceberg de criar bases de dados com características ACID, podemos desenvolver processos de ingestão robustos, de baixa latência e alta eficiência, garantindo uma maior qualidade dos dados armazenados.

O objetivo da nossa palestra é demonstrar como isso pode ser alcançado de maneira simples e com custos controlados.

Acelere o desenvolvimento e deploy de seus projetos de dados com o poder do Databricks Asset Bundle! Nesta palestra prática, demonstraremos como criar, configurar e implantar um projeto de dados completo em diferentes ambientes (dev, QA e prod), aplicando as melhores práticas de DataOps. Aprenda a gerenciar permissões granulares, automatizar deployment de workflows complexos com parâmetros personalizados com job_clusters e permissões personalizadas. Saia com conhecimento para construir pipelines para fazer deploy de pipelines de engenharia de dados de maneira escalável, confiável e eficientes, prontos para produção!

Aprenda a identificar e prevenir problemas de dados, usando boas práticas para garantir a qualidade de forma contínua em seus dados. Nesta palestra, vamos explorar os desafios de qualidade em fluxos de dados no BigQuery, um dos principais desafios para a construção de pipelines de dados confiáveis. Abordaremos as principais causas de dados de baixa qualidade, como dados inconsistentes, incompletos ou inválidos, e como essas falhas podem impactar negativamente a tomada de decisões.