Boas-vindas ao curso Power BI Desktop: tratamento de dados no Power Query! Eu sou o David Neves, instrutor na Alura, e irei te acompanhar nessa jornada.
Audiodescrição: David se descreve como um homem de pele morena, cabelos pretos curtos, e olhos castanho-escuros. Ele veste uma camisa preta com o logotipo da escola de Data Science, e está sentado no estúdio da Alura, com uma parede clara ao fundo iluminada em gradiente de rosa e verde, uma planta à direita do instrutor, e uma estante preta com enfeites e pontos de iluminação amarela.
Nosso curso será focado na extração, transformação e carga de dados, utilizando o Power BI Desktop e o Power Query para realizar esses tratamentos.
Começaremos pela parte de extração, quando faremos a importação de algumas bases de dados: uma base do tipo Excel; uma CSV; outra XML; e outra JSON. Portanto, são várias as extensões que iremos explorar as particularidades.
A partir disso, vamos acessar o editor do Power Query, entender como a ferramenta funciona, e fazer todas as transformações necessárias para termos bases de dados bem tratadas, de modo que seja possível realizar as cargas.
Nesse processo, aprenderemos um pouco sobre a linguagem M, iremos conhecer vários recursos de transformações e adições de colunas personalizadas, vamos entender como podemos exibir e analisar esses dados para conseguirmos fazer as devidas transformações, e por fim, tentaremos refatorar os códigos para realizar uma carga mais otimizada e performática.
A partir dessa carga, analisaremos a modelagem dos dados, para conseguirmos executar fórmulas DAX e relatórios de maneira mais assertiva.
Concluímos que o foco do curso será extrair, transformar e carregar dados, finalizando com a modelagem desses dados para entender a importância dela na execução dos próximos passos, que conheceremos ao longo da formação.
Agora só falta você dar início ao conteúdo! Te aguardamos neste curso para desenvolvermos um projeto e nos aprofundarmos ainda mais em Power Query.
Para começar, precisamos entender sobre o que é o projeto.
Atenderemos a uma demanda da Olist, uma solução de vendas de e-commerce que nos fornecerá quatro bases de dados: uma no formato Excel, ou seja, com extensão .xlsx; uma no formato CSV, com extensão .csv; outra XML, com extensão .xml; e uma última JSON, com extensão .json.
Portanto, teremos quatro bases de dados que vamos importar para o Power BI e realizar os tratamentos, a carga e a modelagem necessárias. Ou seja, executaremos todo o processo de ETL no Power BI, junto ao Power Query.
ETL:
- Extract (Extração);
- Transform (Transformação);
- Load (Carregamento).
Nesse processo, conheceremos o ambiente do Power Query, focado na transformação dos dados, para conseguirmos chegar a esse objetivo final, que é a modelagem.
Vamos modelar esses dados e deixá-los estruturados para que qualquer pessoa consiga criar as medidas utilizando as fórmulas DAX e também elaborar os relatórios desejados.
Agora que conhecemos o projeto, com o Power BI aberto, vamos criar um novo relatório. Para isso, clicamos na opção "Relatório" da página inicial.
Feito isso, na guia "Página Inicial", no canto superior esquerdo, clicaremos em "Obter dados". Assim, iremos conectar a primeira base de dados, que será uma "Pasta de Trabalho do Excel".
Ao abrir a janela de obtenção de dados ("Obter Dados"), encontramos uma gama de opções, sendo a primeira delas a "Pasta de Trabalho do Excel", na qual daremos um duplo clique. Também podemos clicar sobre ela e depois no botão "Conectar" na parte inferior direita.
Feito isso, basta procurar pela pasta, que no nosso caso, se chama "Projeto", mas você pode nomeá-la como preferir. Após abri-la, vamos importar a base de dados olist_pedidos.xlsx.
A partir desse momento, abrirá uma janela que traz duas opções de conexão. A primeira delas é olist_orders_dataset e a segunda é olist_orders_dataset1.
Vamos verificar o que acontece em cada uma delas? A primeira opção de conexão traz uma visualização mais desestruturada na aba à direita. Algumas colunas e linhas estão mal formatadas, por exemplo. Já a segunda base traz algumas opções de transformações, tratando certos detalhes da base.
Como o foco deste curso será trabalhar na parte de transformação, vamos selecionar a primeira opção olist_orders_dataset para fazer a importação.
Basta marcar a caixa de seleção à esquerda da opção e clicar em "Carregar" no canto direito inferior. Feito isso, ele realizará a carga da base e teremos a primeira base importada no Power BI Desktop.
Podemos seguir para a segunda importação, da base de dados CSV (extensão .csv). Vamos manter a mesma rotina de clicar em "Página Inicial > Obter dados", mas agora escolheremos a segunda opção na janela: "Texto/CSV". Feito isso, escolheremos a base de dados olist_itens_pedidos.csv.
Nesse caso, será aberta uma janela diferente da importação no formato Excel, pois ela tem outro tipo de comportamento. Como é um arquivo de extensão .csv, ele contém separações por vírgula.
Não precisa ser necessariamente por vírgula, mas geralmente é. Inclusive, na prévia da importação de
olist_itens_pedidos.csv, há essa separação por vírgulas.
No topo da janela à esquerda, temos um campo de "Origem do Arquivo". Essa origem é a codificação do arquivo. Para o nosso caso, utilizamos "1252: Europeu Ocidental (Windows)" e atende muito bem a visualização desses dados.
Porém, alguns caracteres especiais podem não ser tão bem exibidos quanto esperado na base importada. Nesses casos, precisaríamos mudar a origem do arquivo, mas no momento não é necessário.
Logo ao lado, temos o campo "Delimitador", que está definido como "Vírgula" no menu suspenso. Justamente por isso, conseguimos verificar que cada coluna está bem separada.
Entretanto, se mudássemos o delimitador para "Dois-pontos", por exemplo, teríamos uma única coluna com todas as informações juntas, pois não existem esses dois pontos para separar.
Lembre-se de voltar para a opção "Vírgula" após esse teste.
Por último, no canto superior direito, temos o campo "Detecção de Tipo de Dados". Nesse caso, os tipos de dados serão definidos com base nas 200 primeiras linhas de cada coluna.
Na parte inferior, temos as opções de "Carregar" ou "Transformar Dados". Por enquanto, realizaremos apenas a carga, pois vamos importar todas as bases primeiro e depois avançar para o Power Query.
Dito isso, vamos clicar em "Carregar".
Assim, realizamos a carga solicitada e conseguimos importar as duas primeiras bases. O objetivo é importar quatro bases, então já estamos na metade. Mas será que existem particularidades interessantes nas extensões .xml e .json?
Neste vídeo, vamos dar sequência à conexão das bases de dados da Olist.
Começaremos pela conexão com o arquivo do tipo XML. Para isso, clicaremos em "Obter dados" novamente, na aba "Página Inicial" do Power BI Desktop, mas agora vamos selecionar a terceira opção disponível: "XML".
Nesse caso, acessaremos o arquivo olist_pagamentos.xml, que traz informações sobre os pagamentos. Ao selecioná-lo, é exibida uma visualização muito parecida com a da importação do arquivo Excel.
No menu lateral esquerdo, clicaremos na opção row. Ao fazer isso, temos todas as informações da base de dados à direita. Vamos marcar a caixa de seleção e clicar em "Carregar" para realizar a carga.
Para finalizar, precisamos fazer uma conexão com o arquivo do tipo JSON. Acessaremos a extensão clicando em "Obter dados" mais uma vez, e logo abaixo de "XML", temos a opção "JSON".
Ao clicar nela, será aberto o diretório do projeto, onde encontramos o arquivo olist_produtos.json. Após selecioná-lo, surgirá uma nova janela, diferente de todas as outras conexões.
Essa nova janela tem o título "Editor do Power Query" na parte superior. As características deste arquivo são bem diferentes: ele apresenta uma tabela com a primeira coluna à esquerda contendo todas as estruturas de cabeçalhos; e uma segunda coluna à direita com registros.
product_id | Record |
|---|---|
product_category_name | Record |
product_name_lenght | Record |
product_description_length | Record |
product_photos_qty | Record |
product_weight_g | Record |
product_lenght_cm | Record |
product_height_cm | Record |
product_width_cm | Record |
Porém, o importante é que já fomos redirecionados para o editor do Power Query, que é justamente o ambiente de transformação dos dados. Ele já identificou que precisamos tratar esses dados, independentemente de qualquer coisa. Apenas realizar a carga não é suficiente.
Na sequência, vamos analisar cada uma dessas bases de dados. Agora que passamos da fase de extração dos dados, começaremos a olhar para a transformação dos dados de cada uma das bases.
Sendo assim, no próximo vídeo, colocaremos a mão na massa para entender como funciona o editor do Power Query!
O curso Power BI Desktop: realizando ETL no Power Query possui 96 minutos de vídeos, em um total de 49 atividades. Gostou? Conheça nossos outros cursos de Business Intelligence em Data Science, ou leia nossos artigos de Data Science.
Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:
Impulsione a sua carreira com os melhores cursos e faça parte da maior comunidade tech.
1 ano de Alura
Assine o PLUS e garanta:
Formações com mais de 1500 cursos atualizados e novos lançamentos semanais, em Programação, Inteligência Artificial, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.
A cada curso ou formação concluído, um novo certificado para turbinar seu currículo e LinkedIn.
No Discord, você tem acesso a eventos exclusivos, grupos de estudos e mentorias com especialistas de diferentes áreas.
Faça parte da maior comunidade Dev do país e crie conexões com mais de 120 mil pessoas no Discord.
Acesso ilimitado ao catálogo de Imersões da Alura para praticar conhecimentos em diferentes áreas.
Explore um universo de possibilidades na palma da sua mão. Baixe as aulas para assistir offline, onde e quando quiser.
Acelere o seu aprendizado com a IA da Alura e prepare-se para o mercado internacional.
1 ano de Alura
Todos os benefícios do PLUS e mais vantagens exclusivas:
Luri é nossa inteligência artificial que tira dúvidas, dá exemplos práticos, corrige exercícios e ajuda a mergulhar ainda mais durante as aulas. Você pode conversar com a Luri até 100 mensagens por semana.
Aprenda um novo idioma e expanda seus horizontes profissionais. Cursos de Inglês, Espanhol e Inglês para Devs, 100% focado em tecnologia.
Transforme a sua jornada com benefícios exclusivos e evolua ainda mais na sua carreira.
1 ano de Alura
Todos os benefícios do PRO e mais vantagens exclusivas:
Mensagens ilimitadas para estudar com a Luri, a IA da Alura, disponível 24hs para tirar suas dúvidas, dar exemplos práticos, corrigir exercícios e impulsionar seus estudos.
Envie imagens para a Luri e ela te ajuda a solucionar problemas, identificar erros, esclarecer gráficos, analisar design e muito mais.
Escolha os ebooks da Casa do Código, a editora da Alura, que apoiarão a sua jornada de aprendizado para sempre.