Fala, pessoal! Tudo certo? Espero que sim! Esses dias em uma conversa, foi-me apresentado um certo problema: “Como realizar o processamento de dados que nem o criador do pipe pode visualizar?”. Isso ficou em minha mente por algum tempo, pensei em uma solução que pode encaixar-se bem neste problema. Então Leia mais…
Essa postagem tem como intuito introduzir a ferramenta de ingestão de dados Apache Flume
Fala pessoal! Tudo certo? Conhecem o Apache NiFi? Ele é uma das ferramentas da Apache que apoiam o big data stack, na parte de ingestão de dados! A ferramenta é bem fácil de usar, pois tem uma interface web que é muito intuitiva. Dentro dela, temos como se fossem “peças” Leia mais…
Continuando a serie do pipeline de dados, agora iremos fazer a preparação do ambiente em MySQL e realizar o processo de ingestão de dados com o Streamsets. Nessa etapa iremos adicionar dois novos itens em nosso pipeline. O primeiro é o docker-compose, que servirá de gerenciador permitindo a orquestração e Leia mais…
Já ouviu falar do Streamsets? Não? E do Apache Superset? Também não? Essas são ótimas opções para ter-se no ferramental de um engenheiro de dados, ainda mais quando falamos de ferramentas abertas! A primeira ferramenta, Streamsets, é uma opção para ingestão de dados em batch e streaming, e que será Leia mais…