PySpark

Nomes de colunas como contratos

“97 Things Every Data Engineer Should Know”, o livro que apresenta 97 dicas de engenheiros de dados de todo o mundo. O livro é notável pela sua abordagem única, permitindo que os leitores abram qualquer página e encontrem uma dica interessante. Ao contrário de uma estrutura lógica sequencial, a leitura proporciona uma sensação de diálogo com cada um dos engenheiros que compartilharam suas dicas.

Por Jefferson Soares, atrás

Iniciando com PySpark

Fala, pessoal! Tudo certo? Nessa postagem irei trazer alguns conceitos básicos de Pyspark. Até para que possamos, posteriormente, ir avançando na ferramenta. Trarei os seguintes conceitos: Criando um ambiente de desenvolvimento. Iniciando uma sessão PySpark. Carregando o primeiro Dataframe. Realizando uma query. Salvando um Dataframe. Lembrando que todo o código Leia mais…

Por Jefferson Soares, atrás