Fala galera, tudo certo? Espero que sim! Nessa postagem eu quero abordar alguns conhecimentos básicos de docker, para criar uma introdução à ferramenta. Iremos abordar: O que é docker? Qual a diferença de contêiner para maquina virtual? O que são imagens? Instalando o docker. Criando nosso primeiro contêiner. Esses pontos Leia mais…
Continuando a serie do pipeline de dados, agora iremos fazer a preparação do ambiente em MySQL e realizar o processo de ingestão de dados com o Streamsets. Nessa etapa iremos adicionar dois novos itens em nosso pipeline. O primeiro é o docker-compose, que servirá de gerenciador permitindo a orquestração e Leia mais…
Já ouviu falar do Streamsets? Não? E do Apache Superset? Também não? Essas são ótimas opções para ter-se no ferramental de um engenheiro de dados, ainda mais quando falamos de ferramentas abertas! A primeira ferramenta, Streamsets, é uma opção para ingestão de dados em batch e streaming, e que será Leia mais…