Apache Flume Ingestão de Dados
Iniciando com Apache Flume
Essa postagem tem como intuito introduzir a ferramenta de ingestão de dados Apache Flume
Apache Kafka
Iniciando com Apache Kafka
Essa postagem tem como intuito mostrar a instalação e configuração do Apache Kafka e produzir e consumir a primeira mensagem
Docker Virtualização
Introdução ao Docker [Parte 1]
Fala galera, tudo certo? Espero que sim! Nessa postagem eu quero abordar alguns conhecimentos básicos de docker, para criar uma introdução à ferramenta. Iremos abordar: O que é docker? Qual a diferença de contêiner para maquina virtual? O que são imagens? Instalando o docker. Leia mais…
Drops Python
Python as a service #drops | #1
Nessa postagem, eu pretendo criar um script Python como um serviço, utilizando o modulo service.
PySpark
Iniciando com PySpark
Fala, pessoal! Tudo certo? Nessa postagem irei trazer alguns conceitos básicos de Pyspark. Até para que possamos, posteriormente, ir avançando na ferramenta. Trarei os seguintes conceitos: Criando um ambiente de desenvolvimento. Iniciando uma sessão PySpark. Carregando o primeiro Dataframe. Realizando uma query. Salvando um Leia mais…
Monitoramento
Monitoramento
Essa postagem tem como objetivo criar uma stack de monitoramento de aplicações, utilizando grafana, telegraf e influxdb
NoSQL
Elasticsearch – Avançando com os conceitos
Fala pessoal! Tudo certo? Espero que sim! 🙂 Vamos continuar avançando com os conceitos do Elasticsearch. Caso não tenha acompanhado a primeira postagem, você pode ir no link abaixo, pois ela servirá de base para esta postagem. 😉 https://thedataengineer.com.br/2021/05/14/instalacao-e-utilizacao-elasticsearch-basico/ Os pontos que quero abordar Leia mais…
NoSQL
Instalação e utilização do Elasticsearch – Básico
Fala, pessoal! Tudo certo? Quero trazer nessa postagem um pouco da ferramenta Elasticsearch, que em resumo, é um banco de dados de documentos. Eu estudei a ferramenta nesses últimos dias e achei incrível a facilidade de instalação e uso. Também achei muito legal o Leia mais…
Ingestão de Dados
Consumo de dados API Rest com Apache NiFi
Fala pessoal! Tudo certo? Conhecem o Apache NiFi? Ele é uma das ferramentas da Apache que apoiam o big data stack, na parte de ingestão de dados! A ferramenta é bem fácil de usar, pois tem uma interface web que é muito intuitiva. Dentro Leia mais…
ShellScript
Shell Script – Introdução
Introdução A utilização do shell script é algo bem comum no universo do Big Data, ele age como “cola” integrando partes heterogêneas de sistemas, executando rotinas, iniciando programas ou monitorando aplicações. Como podemos ver, é um item importantíssimo da caixa de ferramentas de um Leia mais…