55h

Para conclusão

6
Cursos
2
Vídeos extras
9
Artigos

Conheça a formação de Primeiros passos com Engenharia de Dados

A formação Primeiros passos com Engenharia de Dados busca preparar iniciantes da área de Engenharia de Dados para os desafios do dia a dia profissional, usando Python, SQL, NoSQL e outras ferramentas.

Funciona como um guia de aprendizado para auxiliar pessoas interessadas em entrar no mercado de trabalho e também como mecanismo de consulta para profissionais experientes.

O QUE É ENGENHARIA DE DADOS?

A Engenharia de Dados desempenha um papel crucial na indústria da tecnologia, permitindo que empresas de diversos setores coletem, armazenem, processem e analisem grandes volumes de dados em tempo real.

Profissionais especializados nessa área são responsáveis por projetar, implementar e manter a infraestrutura necessária para o gerenciamento eficiente dos dados de uma organização. Eles criam fluxos de dados que integram, limpam e transformam informações provenientes de diferentes fontes e formatos, possibilitando a geração de insights valiosos para a tomada de decisões empresariais.

O QUE VAMOS APRENDER?

Nesta formação, você terá a oportunidade de adquirir conhecimentos essenciais para ingressar na área de Engenharia de Dados. Exploraremos diversos tópicos fundamentais, como Python, SQL e pipelines de dados.

Iniciaremos aprendendo a construir pipelines ETL (Extract, Transform e Load) utilizando a linguagem Python, além de compreender como aplicar Programação Orientada a Objetos (POO) para tornar seus códigos mais legíveis.

Além disso, nesta formação, você terá a oportunidade de compreender a diferença entre bancos de dados SQL e NoSQL, assim como os principais conceitos relacionados a esses sistemas de armazenamento de dados.

Por fim, você consolidará todos os conhecimentos adquiridos ao longo dessa formação, desenvolvendo um pipeline completo de Engenharia de Dados. Você terá um primeiro contato com uma das ferramentas de gerenciamento de fluxos de dados, o Airflow. Essa experiência irá ampliar ainda mais suas habilidades e prepará-lo para enfrentar desafios reais na área de dados.

QUAIS SÃO OS PRÉ-REQUISITOS PARA FAZER ESSA FORMAÇÃO?

Para aproveitar melhor esse conteúdo, é importante que você já tenha conhecimento dos conceitos-chave do Python aplicados à área de Data Science de forma abrangente.

Por que estudar esta formação?

  • Guia de aprendizado

    Conteúdos pensados para facilitar seu estudo

  • Do básico ao avançado

    Formação completa para o mercado

  • Você dentro do mercado

    Do zero ao sonhado emprego em sua área de interesse

Comece essa formação agora mesmo e capacite-se para seu próximo projeto!

Conheça os planos

Com quem você vai aprender?

  • Danielle Oliveira

    Danielle é formada em Sistemas de Informação. Fez parte do Scuba Team. Atualmente é instrutora de Data Science, nas áreas de Banco de dados, Business Intelligence e NoSQL. É apaixonada por livros, música e tecnologia.

  • Danielle Oliveira

    Danielle é formada em Sistemas de Informação. Fez parte do Scuba Team. Atualmente é instrutora de Data Science, nas áreas de Banco de dados, Business Intelligence e NoSQL. É apaixonada por livros, música e tecnologia.

  • Millena Gená Pereira

    Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^

  • Millena Gená Pereira

    Millena Gená é estudante de Ciência da Computação. Atualmente, é Instrutora de Dados aqui na Alura atuando principalmente na área de Engenharia de dados. Ela está sempre procurando aprender algo novo sobre tecnologia e é apaixonada por novas aventuras. Programar e ajudar as pessoas são seus hobbies favoritos! ^^

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Igor Nascimento Alves

    Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Grupo Alura, tendo como principais interesses na tecnologia: criação de modelos e análise de dados. Nas horas vagas assisto e analiso dados de basquete e adoro ouvir podcasts de humor como Nerdcast e Jujubacast.

  • Ana Duarte

    Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.

  • Ana Duarte

    Sou bacharela em Estatística e atualmente curso Ciência da Computação. Já atuei como cientista de dados no ramo educacional e financeiro e hoje sou instrutora na Escola de Dados da Alura e voluntária na equipe de projetos do grupo Data Girls. Sou apaixonada por transformar dados em informação inteligente usando a ciência de dados em diversos tipos de aplicação. Fora isso, sempre estou acompanhando alguma série e procurando novas rotas para andar de bike.

  • Vinicius Dias

    Zend Certified Engineer (Engenheiro PHP Certificado pela Zend), iMasters Certified Professional, desenvolvedor Full Stack, formado em Tecnologia da Informação e amante de boas práticas de desenvolvimento, sempre tento aplicar a regra do bom escoteiro nos códigos: Sempre deixe o local mais limpo do que quando você o encontrou.

  • Vinicius Dias

    Zend Certified Engineer (Engenheiro PHP Certificado pela Zend), iMasters Certified Professional, desenvolvedor Full Stack, formado em Tecnologia da Informação e amante de boas práticas de desenvolvimento, sempre tento aplicar a regra do bom escoteiro nos códigos: Sempre deixe o local mais limpo do que quando você o encontrou.

  • Marcus Almeida

    Bacharelando em Engenharia Elétrica pelo Instituto Federal do Maranhão. Atuou como parte do Scuba Team da Escola de Dados na Alura, trabalhando com conteúdos voltados a Data Science, Machine Learning, Python e SQL. Adora conversar tecnologia, universo geek, games e também aprender coisas novas.

  • Marcus Almeida

    Bacharelando em Engenharia Elétrica pelo Instituto Federal do Maranhão. Atuou como parte do Scuba Team da Escola de Dados na Alura, trabalhando com conteúdos voltados a Data Science, Machine Learning, Python e SQL. Adora conversar tecnologia, universo geek, games e também aprender coisas novas.

Passo a passo
  1. 1 Python para Engenharia de Dados

    Neste passo inicial, o objetivo é que você se familiarize com a área da Engenharia de Dados, explorando o uso da linguagem Python e várias ferramentas de análise e gerenciamento de dados.

    Na primeira etapa dessa jornada, você irá descobrir os fundamentos da Engenharia de Dados, aprenderá a importância de uma pessoa Engenheira de Dados no mundo atual, e como Python se aplica nesta área, aprendendo a criar seus próprios pipelines ETL.

    Você também vai aprender a usar o WSL para executar programas e comandos Linux no Windows e a criar e gerenciar ambientes virtuais em Python. Além disso, terá uma introdução à Programação Orientada a Objetos (POO) e ao uso da biblioteca requests do Python para trabalhar com APIs. No final desta etapa, você será capaz de utilizar os principais recursos do Python para montar seus próprios pipelines e extrair, transformar e armazenar diferentes tipos de dados.

  2. 2 Sistemas de armazenamento de dados

    Vamos embarcar em uma jornada para entender a diferença entre bancos de dados SQL e NoSQL. Exploraremos os conceitos de bancos de dados relacionais e não relacionais, além de descobrir em quais situações utilizar cada tipo de banco de dados.

    Você terá a oportunidade de aprender a modelar um banco de dados relacional utilizando SQL, usando o SGBD MySQL e suas principais cláusulas. Demonstraremos como criar esquemas e tabelas, definir chaves primárias e estrangeiras, além de realizar filtros, inserir e excluir informações, utilizar funções de agregação e explorar outros conceitos e técnicas essenciais.

    Logo em seguida, introduziremos o MongoDB, um banco de dados orientado a documentos que armazena informações em formato JSON. Você aprenderá a importar dados de arquivos JSON, realizar buscas, atualizar registros e remover informações.

    Além disso, abordaremos os bancos de dados em nuvem e forneceremos orientações sobre quando utilizar cada um dos tipos de banco de dados apresentados.

    • Artigo SQL e NoSQL: trabalhando com bancos relacionais e não relacionais

    • Curso Modelagem de banco de dados relacional: entendendo SQL

      06h
      • Conheça a importância da linguagem SQL para implentar um modelo relacional
      • Aprenda a instalar os componentes necessários para utilizar o MySQL
      • Entenda a criação de esquema e tabelas
      • Conheça como alterar tabelas para adicionar restrições e estabelecer a integridade referencial
      • Aprenda a definir a chave primária e a chave estrangeira de uma tabela
      • Aprenda três diferentes maneiras de inserir informações em tabelas
      • Conheça como ter informações específicas usando o WHERE para criar filtros
      • Entenda o processo de deletar e atualizar informações usando SQL
      • Saiba usar funções de agregações para trazer métricas nas consultas
      • Compreenda a junção entre tabelas com o INNER JOIN, LEFT JOIN e RIGHT JOIN
    • Artigo Banco de dados relacionais: conhecendo conceitos, terminologias e ferramentas | Alura

    • Curso MongoDB: conhecendo um banco de dados NoSQL

      08h
      • Conheça o NoSQL
      • Realize a instalação do MongoDB
      • Crie banco de dados e coleções
      • Importe dados de um arquivo JSON
      • Realize buscas utilizando o método Find
      • Atualize os dados utilizando o método Update
      • Remova dados utilizando o método Delete
    • Alura+ O que é NoSQL?

    • Artigo Bancos de dados na nuvem | Alura

  3. 3 Iniciando um projeto de Engenharia de Dados

    Neste terceiro passo, temos a intenção de orientá-lo na compreensão de um elemento crucial da Engenharia de Dados: o pipeline de dados. Este é um conceito essencial para o gerenciamento eficiente de dados em qualquer projeto de Ciência de Dados.

    Nessa etapa, você irá descobrir o que é um pipeline de dados através de um artigo informativo, seguido de um curso prático onde você construirá seu próprio pipeline de dados utilizando Python. Além disso, exploraremos o GitHub, uma ferramenta crucial para o gerenciamento e colaboração em projetos de desenvolvimento de software, através do Alura+, que oferece diferentes maneiras de utilizar essa ferramenta.

    Por fim, você aprenderá sobre a importância dos testes em um código de ETL (Extract, Transform, Load), uma técnica essencial na Engenharia de Dados para extrair dados de várias fontes, transformá-los para se adequar ao armazenamento de dados empresarial, e carregá-los em um sistema de destino.

    Ao concluir esta etapa, você terá adquirido habilidades essenciais em pipelines de dados, colaboração com o GitHub e técnicas de ETL, tudo isso reforçado com práticas e exemplos concretos.

  4. 4 Conhecendo ferramentas de Big Data

    Neste quarto passo, você mergulhará no mundo da orquestração de pipelines de dados, um componente fundamental na engenharia de dados. Iniciaremos com um artigo detalhado sobre o Apache Airflow, uma ferramenta líder na orquestração de pipelines. O foco será em entender como o Airflow utiliza as DAGs (Directed Acyclic Graphs) para gerenciar complexas sequências de tarefas. Este conhecimento será a chave para dominar o funcionamento interno do Airflow.

    Após absorver os conceitos do artigo, você avançará para um curso prático. Aqui, o desafio será extrair dados climáticos usando uma API, empregando o Apache Airflow. Você não apenas aprenderá sobre DAGs, mas também sobre Tasks e Operadores, aplicando esses conceitos em um projeto prático e envolvente. Esse projeto não só solidificará seu entendimento, mas também servirá como um excelente item de portfólio, demonstrando suas habilidades recém-adquiridas.

    Ao concluir esta fase, você terá não apenas uma compreensão sólida dos pipelines de dados, mas também prática hands-on com uma das ferramentas mais demandadas do mercado. Isso te capacitará a construir seus próprios pipelines de dados de forma eficiente e inovadora.

    • Artigo Airflow - Entendendo os DAGs

    • Curso Apache Airflow: orquestrando seu primeiro pipeline de dados

      08h
      • Aprenda a extrair dados climáticos utilizando uma API
      • Entenda o que é o Apache Airflow e como utilizá-lo
      • Descubra o que são DAGs, Taks e Operators
      • Conheça os principais componentes da arquitetura do Airflow
      • Saiba quais são os principais recursos da interface do Airflow
      • Desenvolva seu primeiro DAG

Escola

Data Science

Além dessa, a categoria Data Science conta com cursos de Ciência de dados, BI, SQL e Banco de Dados, Excel, Machine Learning, NoSQL, Estatística,e mais...

Conheça a Escola

Comece hoje mesmo os cursos de Primeiros passos com Engenharia de Dados. Matricule-se agora!

Plus

De
R$ 1.800
por
12X
R$109
à vista R$1.308
  • Acesso a TODOS cursos por 1 ano

    Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Certificado

    A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.

  • Mentorias com especialistas

    No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.

  • Comunidade exclusiva

    Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.

  • Acesso ao conteúdo das Imersões

    Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.

  • App Android e iOS para estudar onde quiser

    Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.

Matricule-se

Pro

De
R$ 2.400
por
12X
R$149
à vista R$1.788
  • Acesso a TODOS cursos por 1 ano

    Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Certificado

    A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.

  • Mentorias com especialistas

    No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.

  • Comunidade exclusiva

    Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.

  • Acesso ao conteúdo das Imersões

    Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.

  • App Android e iOS para estudar onde quiser

    Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.

  • Luri, a inteligência artificial da Alura

    Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.

  • Alura Língua - Inglês e Espanhol

    Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.

Matricule-se

Ultra

12X
R$209
à vista R$2.508
  • Acesso a TODOS cursos por 1 ano

    Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Certificado

    A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.

  • Mentorias com especialistas

    No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.

  • Comunidade exclusiva

    Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.

  • Acesso ao conteúdo das Imersões

    Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.

  • App Android e iOS para estudar onde quiser

    Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.

  • Luri, com mensagens ILIMITADAS

    Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.

  • Luri Vision, a IA que enxerga suas dúvidas

    Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.

  • Alura Língua - Inglês e Espanhol

    Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.

  • 6 Ebooks da Casa do Código

    Receba cupons da Casa do Código, a editora da Alura, e escolha ebooks que acompanharão a sua jornada de aprendizado para sempre.

Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas