Engenharia de Dados
Engenharia de dados: dbt Core 2.0, Spark 4.2 e pipelines agent-driven
dbt Core 2.0, Apache Spark 4.2, Snowflake CoCo e pipelines agent-driven: os principais movimentos da engenharia de dados em julho de 2026.
Apache-Iceberg
Apache Iceberg: Por que é essencial para Big Data?
Descubra por que o Apache Iceberg é revolucionário no ecossistema de Big Data. Compare com Data Lakes tradicionais, entenda suas vantagens como ACID transactions e Time Travel, e explore casos de uso reais.
open-table-format
Open Table Format
O Open Table Format (OTF) é uma tecnologia emergente projetada para melhorar a maneira como os dados tabulares são armazenados, gerenciados e compartilhados. Este formato aberto é especialmente útil para enfrentar alguns dos principais desafios associados aos formatos de dados tradicionais.
Boas-Práticas
Sobre a importância da documentação para o futuro do ChatGPT
Salve, pessoal! Tudo certo? Espero que sim! Estava ouvindo um podcast sobre gerenciamento de projetos que acompanho há alguns bons anos (para quem tiver curiosidade é o 5 Minutes Podcast do Ricardo Vargas), nesse episódio em específico, (https://ricardo-vargas.com/podcasts/will-project-management-offices-pmo-survive-in-the-age-of-ai/), O Ricardo fala sobre os impactos Leia mais
Boas-Práticas PySpark PyTest Python
Nomes de colunas como contratos
“97 Things Every Data Engineer Should Know”, o livro que apresenta 97 dicas de engenheiros de dados de todo o mundo. O livro é notável pela sua abordagem única, permitindo que os leitores abram qualquer página e encontrem uma dica interessante. Ao contrário de uma estrutura lógica sequencial, a leitura proporciona uma sensação de diálogo com cada um dos engenheiros que compartilharam suas dicas.
Apache Kafka Change Data Capture Data-Pipeline Debezium Kubernetes
Change Data Capture com Debezium
Salve, pessoal! Tudo certo? Você conhece o que é CDC (Change Data Capture)? Basicamente, CDC é uma técnica que, com base na leitura dos logs de um determinado banco transacional, realiza a leitura desses logs e “captura” esse evento, permitindo que nós realizemos a Leia mais
Contêineres Kubernetes
Iniciando com Kubernetes [Parte 2]
Fala, pessoal! Tudo certo? Espero que sim! Hoje continuarei a postagem do kubernetes, então veremos: Utilização de arquivos yaml no kubernetes. Usando arquivos na construção dos nossos pods. Criando e configurando um service. Caso queira, você pode acessar a primeira postagem aqui: https://thedataengineer.com.br/2022/11/22/iniciando-com-kubernetes-parte-1/ pois Leia mais
Boas-Práticas Segurança
Tokenização de Dados
Essa postagem mostra o que é tokenização, a diferença entre criptografia e tokenização. E como podemos aplicar uma tokenização à nossos dados.
Contêineres Kubernetes
Iniciando com Kubernetes [Parte 1]
Fala, pessoal! Tudo certo? Trarei aqui uma introdução ao Kubernetes, que é um poderoso orquestrador de contêiners e muito utilizado no mercado. Nessa introdução, iremos preparar um ambiente em nossa maquina, utilizando o minikube que é um programa que simula um cluster em nossa Leia mais