Logo do curso
Curso

Apache Beam:

Data Pipeline com Python

Quero estudar na alura

12h

Para conclusão

2775

Pessoas nesse curso

9.2

Avaliação média

Certificado

De participação

Introdução_

O que você aprenderá_

  • Realize a ingestão de dados brutos
  • Entenda como aplicar processos de engenharia de dados
  • Produza uma análise estruturada com base nos dados lidos
  • Entenda para que realizar a paralelização de processos de transformações em dados brutos
  • Aplique as regras de negócio estabelecidas em transformações nos dados ingeridos
  • Una bases diferentes para que tenham correlações que possam ser extraídas
  • Persista os resultados das transformações para processos que utilizarão os dados tratados

Público alvo_

Pessoas que trabalham com ciência, engenharia ou análise de dados que querem melhorar a forma de realizar a preparação de dados para outros processos ou aprender um novo ferramental para trabalhar com engenharia de dados.

Pedro Felipe Teixeira

Pedro é formado em Mecatrônica Industrial, com mestrado em Energias Renováveis. Atuou na indústria e na construção civil com aplicações em Internet das Coisas e análise de dados, como desenvolvedor de software e atualmente trabalha como arquiteto de soluções, trabalhando com processos de Engenharia de Dados e Engenharia de Machine Learning no mercado de risco de crédito. Professor desde cedo, entende que quem mais aprende é quem mais compartilha.

Ementa

  1. Data Pipeline

    • Apresentação
    • Data Pipeline
    • Dados brutos
  2. Pipeline e transformações

    • Apache Beam
    • Pipeline casos de dengue
    • De texto para lista
  3. Dados de dengue

    • De lista para dicionário
    • Tratando datas
    • Chave por estado
  4. Dados de chuvas

    • mm por estado, ano e mês
    • Somar dados
    • Pipeline de chuvas
  5. Agrupando e retornando tupla

    • Chave por estado ano mês
    • Agrupar e somar chuva
    • Retornar tupla
  6. Analisando e juntando pcollections

    • Análise de Pipelines
    • Mescla com CoGroupByKey
    • Filtro
  7. Persistência dos resultados

    • Desagrupamento
    • Preparo para escrita
    • Escrita
    • Análise
    • Conclusão

Descubra se esse curso é pra você! Leia as primeiras aulas

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos
Escola

Data Science

Trabalhe com dados. Aprofunde seu conhecimento nas principais ferramentas de uma pessoa data scientist. Descubra as diferentes possibilidades de análise de dados, do Excel ao Python, e mergulhe em frameworks e bibliotecas, como Pandas, Scikit-Learn e Seaborn.

Conheça a escola

Pessoas estudando esse curso nesse mês:

Estude com elas

e mais 60 pessoas

Faça parte da nossa comunidade no discord!

Troque conhecimentos com a comunidade da Alura

nossos alunos e alunas

Experiências de quem já mergulhou com a gente.

Curso incrível, com ótimos exemplos e uma excelente didática.

Apache Beam: Data Pipeline com Python

Fernando

Experiência boa. O curso muito bom e um fato que achei interessante é que a ferramenta permite a construção de arquivos Parquet e Avro pouco falado aqui nos cursos da Alura. Gostaria de ver cursos mais voltados para o ambiente Hadoop.

Apache Beam: Data Pipeline com Python

Luiz Peralta

Este conteúdo venho procurando faz um bom tempo, volta e meia pesquisa na plataforma, fiquei extremamente satisfeito, pois me abriu de fato os olhos para o poder do Beam e sua flexibilidade. Eu tenho muito a agradecer ao Instrutor pela metodologia de ensinar através de uma caso de uso efetivo que pode ser replicado no dia-a-dia e obviamente agradecer a a Alura por fomentar este conteúdo.Aí só fica a pergunta: Quando teremos mais conteúdos de Engenharia de Dados com o Apache Beam e ouros temas?

Apache Beam: Data Pipeline com Python

Luciano Teixeira

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Plus

De
R$ 1.800
por
12X
R$109
à vista R$1.308
  • Acesso a TODOS cursos por 1 ano

    Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Certificado

    A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.

  • Mentorias com especialistas

    No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.

  • Comunidade exclusiva

    Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.

  • Acesso ao conteúdo das Imersões

    Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.

  • App Android e iOS para estudar onde quiser

    Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.

Matricule-se

Pro

De
R$ 2.400
por
12X
R$149
à vista R$1.788
  • Acesso a TODOS cursos por 1 ano

    Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Certificado

    A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.

  • Mentorias com especialistas

    No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.

  • Comunidade exclusiva

    Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.

  • Acesso ao conteúdo das Imersões

    Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.

  • App Android e iOS para estudar onde quiser

    Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.

  • Luri, a inteligência artificial da Alura

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.

  • Alura Língua - Inglês e Espanhol

    Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.

Matricule-se

Ultra

12X
R$209
à vista R$2.508
  • Acesso a TODOS cursos por 1 ano

    Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Certificado

    A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.

  • Mentorias com especialistas

    No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.

  • Comunidade exclusiva

    Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.

  • Acesso ao conteúdo das Imersões

    Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.

  • App Android e iOS para estudar onde quiser

    Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.

  • Luri, com mensagens ILIMITADAS

    Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.

  • Luri Vision, a IA que enxerga suas dúvidas

    Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.

  • Alura Língua - Inglês e Espanhol

    Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.

  • 6 Ebooks da Casa do Código

    Receba cupons da Casa do Código, a editora da Alura, e escolha ebooks que acompanharão a sua jornada de aprendizado para sempre.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas