Fala pessoal! Tudo certo? Conhecem o Apache NiFi? Ele é uma das ferramentas da Apache que apoiam o big data stack, na parte de ingestão de dados! A ferramenta é bem fácil de usar, pois tem uma interface web que é muito intuitiva. Dentro Leia mais
Introdução A utilização do shell script é algo bem comum no universo do Big Data, ele age como “cola” integrando partes heterogêneas de sistemas, executando rotinas, iniciando programas ou monitorando aplicações. Como podemos ver, é um item importantíssimo da caixa de ferramentas de um Leia mais
Multipass Há algum tempo atrás, precisei instalar algumas máquinas virtuais para criar um pequeno cluster de teste. Pois bem, como eu não queria instalar todo o sistema operacional do zero e não precisava de interface gráfica, busquei no próprio site da Ubuntu se teria Leia mais
Na ultima parte do nosso pipeline iremos finalmente utilizar os dados da ingestão feita via Streamsets para alimentar uma aplicação de visualização de dados, no caso, o Apache Superset, instalado na ultima postagem. Sem mais delongas, vamos concluir o pipeline! 🙂 Iniciando ambiente Caso Leia mais
Continuando a serie do pipeline de dados, iremos adicionar ao nosso ambiente uma ferramenta de visualização de dados da Apache, o Apache Superset. Iremos aproveitar a estrutura criada na etapa 2, onde criamos um arquivo docker-compose com a extensão .yaml. Nesse arquivo adicionaremos o Leia mais
Continuando a serie do pipeline de dados, agora iremos fazer a preparação do ambiente em MySQL e realizar o processo de ingestão de dados com o Streamsets. Nessa etapa iremos adicionar dois novos itens em nosso pipeline. O primeiro é o docker-compose, que servirá Leia mais
Já ouviu falar do Streamsets? Não? E do Apache Superset? Também não? Essas são ótimas opções para ter-se no ferramental de um engenheiro de dados, ainda mais quando falamos de ferramentas abertas! A primeira ferramenta, Streamsets, é uma opção para ingestão de dados em Leia mais
Utilizando Strategy para aplicação de modelos Strategy é um padrão de projetos do tipo comportamental que busca padronizar a comunicação entre os objetos e cria uma estratégia encadeada, sendo possível resolver tarefas maiores de maneira escalável e organizada, permitindo a utilização de múltiplos modelos encadeados Leia mais
Apache Hadoop é um framework para o processamento e armazenamento de grandes quantidade de dados de forma distribuída. Hoje, o Apache Hadoop é uma das principais ferramentas de processamento e armazenamento de dados, visto que ele pode ser rodado em hardware barato, e processar Leia mais