Continuando a serie do pipeline de dados, iremos adicionar ao nosso ambiente uma ferramenta de visualização de dados da Apache, o Apache Superset. Iremos aproveitar a estrutura criada na etapa 2, onde criamos um arquivo docker-compose com a extensão .yaml. Nesse arquivo adicionaremos o Leia mais
Continuando a serie do pipeline de dados, agora iremos fazer a preparação do ambiente em MySQL e realizar o processo de ingestão de dados com o Streamsets. Nessa etapa iremos adicionar dois novos itens em nosso pipeline. O primeiro é o docker-compose, que servirá Leia mais
Já ouviu falar do Streamsets? Não? E do Apache Superset? Também não? Essas são ótimas opções para ter-se no ferramental de um engenheiro de dados, ainda mais quando falamos de ferramentas abertas! A primeira ferramenta, Streamsets, é uma opção para ingestão de dados em Leia mais
Utilizando Strategy para aplicação de modelos Strategy é um padrão de projetos do tipo comportamental que busca padronizar a comunicação entre os objetos e cria uma estratégia encadeada, sendo possível resolver tarefas maiores de maneira escalável e organizada, permitindo a utilização de múltiplos modelos encadeados Leia mais
Apache Hadoop é um framework para o processamento e armazenamento de grandes quantidade de dados de forma distribuída. Hoje, o Apache Hadoop é uma das principais ferramentas de processamento e armazenamento de dados, visto que ele pode ser rodado em hardware barato, e processar Leia mais