Salve, pessoal! Tudo certo? Você conhece o que é CDC (Change Data Capture)? Basicamente, CDC é uma técnica que, com base na leitura dos logs de um determinado banco transacional, realiza a leitura desses logs e “captura” esse evento, permitindo que nós realizemos a ingestão desse evento (normalmente via streaming Leia mais…
Fala, pessoal! Tudo certo? Espero que sim! Esses dias em uma conversa, foi-me apresentado um certo problema: “Como realizar o processamento de dados que nem o criador do pipe pode visualizar?”. Isso ficou em minha mente por algum tempo, pensei em uma solução que pode encaixar-se bem neste problema. Então Leia mais…
Na ultima parte do nosso pipeline iremos finalmente utilizar os dados da ingestão feita via Streamsets para alimentar uma aplicação de visualização de dados, no caso, o Apache Superset, instalado na ultima postagem. Sem mais delongas, vamos concluir o pipeline! 🙂 Iniciando ambiente Caso você tenha caído aqui e não Leia mais…
Continuando a serie do pipeline de dados, iremos adicionar ao nosso ambiente uma ferramenta de visualização de dados da Apache, o Apache Superset. Iremos aproveitar a estrutura criada na etapa 2, onde criamos um arquivo docker-compose com a extensão .yaml. Nesse arquivo adicionaremos o contêiner disponibilizado pela própria Apache dentro Leia mais…
Continuando a serie do pipeline de dados, agora iremos fazer a preparação do ambiente em MySQL e realizar o processo de ingestão de dados com o Streamsets. Nessa etapa iremos adicionar dois novos itens em nosso pipeline. O primeiro é o docker-compose, que servirá de gerenciador permitindo a orquestração e Leia mais…
Já ouviu falar do Streamsets? Não? E do Apache Superset? Também não? Essas são ótimas opções para ter-se no ferramental de um engenheiro de dados, ainda mais quando falamos de ferramentas abertas! A primeira ferramenta, Streamsets, é uma opção para ingestão de dados em batch e streaming, e que será Leia mais…