Descubra por que o Apache Iceberg é revolucionário no ecossistema de Big Data. Compare com Data Lakes tradicionais, entenda suas vantagens como ACID transactions e Time Travel, e explore casos de uso reais.
O Open Table Format (OTF) é uma tecnologia emergente projetada para melhorar a maneira como os dados tabulares são armazenados, gerenciados e compartilhados. Este formato aberto é especialmente útil para enfrentar alguns dos principais desafios associados aos formatos de dados tradicionais.
Fala, pessoal! Tudo certo? 🙂 Bom, hoje quero trazer um overview do Amazon S3. – Principais componentes– Modo de uso– Como isso conecta-se com Big Data Certo, vamos começar? Visão Geral O Simple Storage Service ou S3, é um recurso da AWS para armazenarmos Leia mais…
Salve, pessoal! Tudo certo? Espero que sim! Estava ouvindo um podcast sobre gerenciamento de projetos que acompanho há alguns bons anos (para quem tiver curiosidade é o 5 Minutes Podcast do Ricardo Vargas), nesse episódio em específico, (https://ricardo-vargas.com/podcasts/will-project-management-offices-pmo-survive-in-the-age-of-ai/), O Ricardo fala sobre os impactos Leia mais…
“97 Things Every Data Engineer Should Know”, o livro que apresenta 97 dicas de engenheiros de dados de todo o mundo. O livro é notável pela sua abordagem única, permitindo que os leitores abram qualquer página e encontrem uma dica interessante. Ao contrário de uma estrutura lógica sequencial, a leitura proporciona uma sensação de diálogo com cada um dos engenheiros que compartilharam suas dicas.
Salve, pessoal! Tudo certo? Você conhece o que é CDC (Change Data Capture)? Basicamente, CDC é uma técnica que, com base na leitura dos logs de um determinado banco transacional, realiza a leitura desses logs e “captura” esse evento, permitindo que nós realizemos a Leia mais…
Fala, pessoal! Tudo certo? Espero que sim! Hoje continuarei a postagem do kubernetes, então veremos: Utilização de arquivos yaml no kubernetes. Usando arquivos na construção dos nossos pods. Criando e configurando um service. Caso queira, você pode acessar a primeira postagem aqui: https://thedataengineer.com.br/2022/11/22/iniciando-com-kubernetes-parte-1/ pois Leia mais…
Essa postagem mostra o que é tokenização, a diferença entre criptografia e tokenização. E como podemos aplicar uma tokenização à nossos dados.
Fala, pessoal! Tudo certo? Trarei aqui uma introdução ao Kubernetes, que é um poderoso orquestrador de contêiners e muito utilizado no mercado. Nessa introdução, iremos preparar um ambiente em nossa maquina, utilizando o minikube que é um programa que simula um cluster em nossa Leia mais…
Fala, pessoal! Tudo certo? Espero que sim! Esses dias em uma conversa, foi-me apresentado um certo problema: “Como realizar o processamento de dados que nem o criador do pipe pode visualizar?”. Isso ficou em minha mente por algum tempo, pensei em uma solução que Leia mais…