Formação Primeiros passos com Engenharia de Dados

Neste passo inicial, o objetivo é que você se familiarize com a área da Engenharia de Dados, explorando o uso da linguagem Python e várias ferramentas de análise e gerenciamento de dados.

Na primeira etapa dessa jornada, você irá descobrir os fundamentos da Engenharia de Dados, aprenderá a importância de uma pessoa Engenheira de Dados no mundo atual, e como Python se aplica nesta área, aprendendo a criar seus próprios pipelines ETL.

Você também vai aprender a usar o WSL para executar programas e comandos Linux no Windows e a criar e gerenciar ambientes virtuais em Python. Além disso, terá uma introdução à Programação Orientada a Objetos (POO) e ao uso da biblioteca requests do Python para trabalhar com APIs. No final desta etapa, você será capaz de utilizar os principais recursos do Python para montar seus próprios pipelines e extrair, transformar e armazenar diferentes tipos de dados.

Vamos embarcar em uma jornada para entender a diferença entre bancos de dados SQL e NoSQL. Exploraremos os conceitos de bancos de dados relacionais e não relacionais, além de descobrir em quais situações utilizar cada tipo de banco de dados.

Você terá a oportunidade de aprender a modelar um banco de dados relacional utilizando SQL, usando o SGBD MySQL e suas principais cláusulas. Demonstraremos como criar esquemas e tabelas, definir chaves primárias e estrangeiras, além de realizar filtros, inserir e excluir informações, utilizar funções de agregação e explorar outros conceitos e técnicas essenciais.

Logo em seguida, introduziremos o MongoDB, um banco de dados orientado a documentos que armazena informações em formato JSON. Você aprenderá a importar dados de arquivos JSON, realizar buscas, atualizar registros e remover informações.

Além disso, abordaremos os bancos de dados em nuvem e forneceremos orientações sobre quando utilizar cada um dos tipos de banco de dados apresentados.

Neste terceiro passo, temos a intenção de orientá-lo na compreensão de um elemento crucial da Engenharia de Dados: o pipeline de dados. Este é um conceito essencial para o gerenciamento eficiente de dados em qualquer projeto de Ciência de Dados.

Nessa etapa, você irá descobrir o que é um pipeline de dados através de um artigo informativo, seguido de um curso prático onde você construirá seu próprio pipeline de dados utilizando Python. Além disso, exploraremos o GitHub, uma ferramenta crucial para o gerenciamento e colaboração em projetos de desenvolvimento de software, através do Alura+, que oferece diferentes maneiras de utilizar essa ferramenta.

Por fim, você aprenderá sobre a importância dos testes em um código de ETL (Extract, Transform, Load), uma técnica essencial na Engenharia de Dados para extrair dados de várias fontes, transformá-los para se adequar ao armazenamento de dados empresarial, e carregá-los em um sistema de destino.

Ao concluir esta etapa, você terá adquirido habilidades essenciais em pipelines de dados, colaboração com o GitHub e técnicas de ETL, tudo isso reforçado com práticas e exemplos concretos.

Neste quarto passo, você mergulhará no mundo da orquestração de pipelines de dados, um componente fundamental na engenharia de dados. Iniciaremos com um artigo detalhado sobre o Apache Airflow, uma ferramenta líder na orquestração de pipelines. O foco será em entender como o Airflow utiliza as DAGs (Directed Acyclic Graphs) para gerenciar complexas sequências de tarefas. Este conhecimento será a chave para dominar o funcionamento interno do Airflow.

Após absorver os conceitos do artigo, você avançará para um curso prático. Aqui, o desafio será extrair dados climáticos usando uma API, empregando o Apache Airflow. Você não apenas aprenderá sobre DAGs, mas também sobre Tasks e Operadores, aplicando esses conceitos em um projeto prático e envolvente. Esse projeto não só solidificará seu entendimento, mas também servirá como um excelente item de portfólio, demonstrando suas habilidades recém-adquiridas.

Ao concluir esta fase, você terá não apenas uma compreensão sólida dos pipelines de dados, mas também prática hands-on com uma das ferramentas mais demandadas do mercado. Isso te capacitará a construir seus próprios pipelines de dados de forma eficiente e inovadora.