Big Query
Os dados são a fonte de informação mais confiável que podemos ter. Mas, apenas dados coletados, sozinhos, não resolvem nenhum problema.
Além de profissionais capacitados para investigar padrões, estimar comportamentos para o futuro ou automatizar classificações, entre tantas outras possibilidades que o universo dos dados nos apresenta, é essencial contar com boas ferramentas para que o processo de análise de dados sirva a seu primeiro propósito.
O BigQuery, o Data Warehouse do Google Cloud, já consolidado no mercado, pode ser a ferramenta ideal para potencializar a análise de dados, principalmente quando falamos de Big Data.
Por quatro anos consecutivos, Google é visto como líder na categoria de sistemas de gerenciamento de banco de dados em nuvem pelo Quadrante Mágico Gartner, característica que atesta que o produto executa bem o que promete e, mais do que se manter atualizado, é um lançador de tendências.
Neste artigo, vamos explorar o que tudo isso pode possibilitar para você ou sua empresa, descobrir os mecanismos que tornam essa plataforma tão singular, conhecer alguns casos de uso e espiar um pouquinho de como é a experiência prática na plataforma.
Se aconchega aí e vem comigo!
O que é o BigQuery?
O BigQuery, uma plataforma de análise de dados totalmente gerenciada oferecida pelo Google Cloud Platform (GCP).
De forma geral, ele atende às demandas crescentes das empresas e organizações que lidam com grandes volumes de dados.
Ao oferecer uma solução eficiente e escalável para armazenar e analisar grandes quantidades de dados, esta ferramenta possibilita a obtenção de insights em tempo real, sem a necessidade de se preocupar com infraestrutura.
O ambiente integrado do BigQuery oferece soluções para quem busca:
Tudo isso com a capacidade de analisar quantidades exorbitantes de dados muito rapidamente: terabytes em segundos e petabytes em minutos - com um custo benefício inigualável.
Para quê serve o BigQuery?
Já é até clichê ressaltar como cresce cada dia mais *a importância da tomada de decisões baseadas em dados.
Porém, é um clichê baseado na realidade concreta e observável. Estamos em um momento de crescente aceleração rumo à era data-driven, em que saber extrair boas percepções e ações de dados coletados diariamente deixa de ser um diferencial para se tornar uma nova necessidade.
Para empresas que dão aos seus dados sua devida importância, o BigQuery pode desempenhar um papel muito importante em diversas etapas do pipeline de análise de dados. Vou te contar algumas delas.
Armazenamento de dados
Empresas enfrentam desafios ao armazenar grandes volumes de dados de forma segura e eficiente.
A necessidade de infraestrutura local e a preocupação com a segurança dos dados representam obstáculos significativos para muitas organizações.
No entanto, uma solução eficaz está ao alcance: o Google BigQuery oferece a capacidade de *armazenar dados, estruturados ou não, diretamente na plataforma.
Neste ponto, a natureza serverless da ferramenta se destaca. O armazenamento é totalmente gerenciado, ou seja, seus dados são guardados na nuvem Google, de modo que você não precisa se preocupar em ter um supercomputador que aguente o volume crescente dos dados.
Nesse processo, todos os dados armazenados são automaticamente criptografados e podem ser replicados em várias zonas de disponibilidade, garantindo segurança e proteção contra perdas.
Análise de dados
Já na estrela do show, a análise de dados, as possibilidades são surpreendentes!
A principal forma de consulta de bancos de dados tradicionais, o SQL (ou Linguagem de Consulta Estruturada), é também essencial no BigQuery.
É possível realizar consultas ou procedimentos nos seus próprios dados ou em bancos de dados públicos.
A linguagem SQL costuma ser complementada pelos SGBDs para adquirir dinamicidade, já que o SQL, por si só, é estático.
E no BigQuery não é diferente - ele oferece uma variedade de funções, incluindo funções de conversão, geográficas, matemáticas e muitas outras.
Além do uso clássico de SQL já difundido entre os usuários da tecnologia, o Big Query possibilita a criação de modelos de Machine Learning tendo SQL como base, o que empodera as pessoas cientistas de dados a fazer predições com muito mais rapidez, pois não é necessário adaptar os dados para que se encaixem em algum framework de Machine Learning baseado em Python.
Não que o Python fique de fora dessa, muito pelo contrário! Quem tem a linguagem perto do coração pode respirar em paz.
É possível utilizar o BigQuery por meio de APIs como a BQ DataFrames, por exemplo, que possibilita lidar com os dados da mesma forma utilizando as bibliotecas Pandas e Scikit-learn, acelerando a implementação da ferramenta, pois retira a necessidade de eventuais curvas de aprendizado.
Também é possível criar notebooks do Colab Enterprise diretamente no BigQuery. Em contrapartida, por meio de APIs, é possível manipular os dados programaticamente com outras linguagens importantes também, como Java ou C#.
Para que os insights obtidos possam ter impactos consideráveis, uma boa visualização de dados é a chave.
É possível integrar os benefícios do BigQuery ao Looker Studio, ao Power BI, ao Google Sheets, entre outras ferramentas.
Adicionalmente, o serviço BI Engine do BQ acelera a resposta das consultas, permitindo que visualizações e relatórios interativos sejam atualizados em tempo real.
Para conhecer mais algumas integrações que expandem o poder do BigQuery, recomendo a leitura do artigo Google BigQuery: integração com ferramentas.
Você também pode encontrar mais informações detalhadas na documentação, que é uma fonte rica em conhecimentos úteis!
Administração e governança
Para estarmos mais preparados para administrar a plataforma de forma eficaz, é essencial compreender como funciona o sistema de cobrança e as configurações de segurança.
Imagine lidar com despesas inesperadas ou deixar brechas de segurança em seus dados. Esses são problemas que podem se escalar intensamente e é imperativo dominar essas configurações.
Nesse momento, vamos explorar brevemente sobre o sistema de cobrança do BigQuery e suas configurações de segurança. Vamos lá!
Preços do BigQuery
A precificação do BigQuery é feita de acordo com o uso e tem valores separados para armazenamento e computação, o que traz transparência e flexibilidade no orçamento.
A seguir, temos a possibilidade de considerar as sua principais características:
- O preço de armazenamento é cobrado em relação aos dados que estão armazenados no BigQuery.
- Já os preços de computação são o custo do processamento de consultas SQL. O uso da computação do BQ é escalonável e flexível — você não paga pelo poder de executar queries complexas, mas sim pelas queries que executa, de fato - sejam de qualquer nível de complexidade.
- Outras operações, como o uso do BigQuery ML, também são cobradas.
- Também é possível criar controles de custos personalizados para ter uma previsibilidade maior dos gastos, que ficam visíveis em um dashboard detalhado.
- Além disso, há um nível gratuito de uso - a cada mês, os primeiros 10GB armazenados e 1TB consultados são gratuitos!
Para obter mais informações sobre os valores oficiais, consulte a página Visão Geral dos Valores do BigQuery e orientações para otimização de consultas e de custos para entender melhor sobre a precificação dos serviços.
Segurança
A Google garante que seus dados estarão seguros enquanto armazenados e processados no BigQuery.
Os dados são criptografados tanto em repouso como em trânsito pela própria Google, porém, é possível também que as chaves de criptografia sejam gerenciadas pelo cliente.
Os dados são descriptografados apenas quando são consultados por uma pessoa com uma permissão adequada, o que nos leva ao IAM (Identity and Access Management, ou Controle de Identidade e Acesso), que gerencia papéis e atribuições para cada pessoa usuária do Cloud.
Cada papel é um conjunto de permissões que autoriza ações em diferentes níveis - seja em tabelas, conjuntos de dados ou no projeto como um todo.
O uso adequado do IAM é essencial para garantir uma política de segurança confiável dentro do ambiente da nuvem.
Gerenciar acessos aos dados é especialmente importante em situações que envolvem dados sensíveis.
Atualmente, até mesmo um simples cadastro de pessoa física coleta dados como endereço, números de registro e dados bancários.
No Brasil, a Lei Geral de Proteção de Dados que regulamenta a proteção de dados sensíveis.
Com as ferramentas de segurança da Google Cloud, é possível estar em conformidade com essa regulamentação tão importante.
Para saber mais sobre este tema e garantir a segurança dos seus dados de forma fácil e confiável, explore a Central de recursos de conformidade.
Lá você encontrará orientações úteis e dicas práticas para manter seus dados protegidos e em conformidade com as regulamentações vigentes.
Como o BigQuery funciona?
Para obter toda a performance que te contei, o Google tem suas estratégias rodando por baixo dos panos.
O objetivo da plataforma é justamente que a pessoa usuária possa se concentrar na lógica do processamento dos dados sem outras preocupações, porém, é interessante ter uma ideia do que está acontecendo nos bastidores.
Por baixo dos panos
Diferente dos bancos de dados tradicionais, como Oracle, MySQL, entre outros, o BigQuery não é um banco de dados estritamente relacional.
Em vez de tabelas, temos o que é chamado de armazenamento colunar. Isso significa que os dados são armazenados e lidos por colunas, possibilitando a compressão do volume de registros.
Isso resulta em menos espaço ocupado e mais velocidade na busca das informações desejadas.
O armazenamento colunar também oferece um desempenho singular quando são necessárias ações em apenas um campo, como funções de agregação, por exemplo, para obter métricas simples.
É importante considerar que essa não é exatamente uma particularidade do BigQuery, já que muitos data warehouses utilizam armazenamento colunar.
No entanto, a Google foi inovadora em aspectos importantes que inspiram outros DW hoje em dia, como as técnicas avançadas de compressão dos dados em colunas aninhadas.
Nos primórdios no BigQuery, início dos anos 2000, a Google já utilizava seu antecessor para necessidades internas de análise de dados: o Dremel.
Essa tecnologia, além do armazenamento colunar aninhado, utiliza uma árvore de execução multinível. O funcionamento é assim: o trabalho necessário para retornar uma busca é dividido em muitas partes menores, organizadas hierarquicamente, que são processadas em paralelo (ou seja, tudo acontece ao mesmo tempo) e, em seguida, são combinadas para formar o resultado final.
Esse mecanismo, utilizado no BigQuery, já era impressionante duas décadas atrás com o Dremel e agora está ainda mais avançado.
Além disso, tanto o armazenamento quanto a manipulação de dados são impulsionados por sistemas distribuídos.
A Google possui vários data centers espalhados pelo mundo, nos quais vários computadores trabalham juntos, contribuindo com sua capacidade de processamento para resolver problemas de dados em larga escala.
Isso garante que não haverá falhas no processo, pois se um computador falhar, ainda haverá uma disponibilidade considerável para assumir a responsabilidade, além de impactar positivamente na velocidade do processamento.
A dinâmica desse processamento é possível de ser realizada através da imagem a seguir:
Incrível, não é? Imagine tudo o que uma empresa do porte da Google, há tantos anos com uma equipe de mentes brilhantes trabalhando em novas tecnologias, pode fazer!
Grandes inovações aconteceram no passado e isso se mantém. Em abril de 2024, por exemplo, um ano após o marcante início da popularização das IAs generativas, o Google anuncia que o Gemini estará fortemente integrado ao BigQuery, atuando como assistente nas fases de preparação, análise e engenharia dos dados.
Por que o BigQuery é importante?
Em muitos setores, o mercado é dinâmico, com necessidades que variam rapidamente e um alto grau de incerteza sobre o futuro.
Mesmo em mercados mais estáveis, é sempre desejável otimizar processos, reduzir custos e ter seus dados transformados em real conhecimento sobre a situação do negócio. Esses são elementos essenciais para o sucesso.
Enquanto o mercado de dados no Brasil e no mundo continuar crescendo, empregadores seguem em busca de pessoas que tenham familiaridade com o ambiente em nuvem, seja na área de análise, ciência ou engenharia de dados.
Dominar ferramentas que permitem navegar nesse cenário de forma eficiente é crucial, e o BigQuery já está presente como solução para muitas empresas.
Para se aprofundar um pouco mais nesse tema, recomendamos o papo sobre análise de dados no Hipsters Ponto Tech.
Neste episódio, são discutidos os pontos mais interessantes e surpreendentes do relatório State of Data Brazil 2023, feito pela comunidade Data Hackers junto com a Bain & Company e a Vector. A pauta do encontro é incrível. Vale a pena conferir!
Como o BigQuery pode gerar vantagem competitiva?
Até agora, exploramos alguns dos superpoderes do BigQuery. Vamos recapitular os mais impactantes?
- Bom custo-benefício: Você paga apenas o que utiliza;
- Capacidade de visualização de dados em tempo real;
- Poder de processamento incrível: Terabytes em segundos!
- Segurança e disponibilidade garantidas;
- Facilidade para criação de modelos de Machine Learning.
Considerando a possibilidade de integração com os mais de cem outros produtos do Google Cloud, a lista de possibilidades vai longe!
Mas como todas essas ferramentas podem, de fato, impactar o negócio?
Além de reduzir os custos com a infraestrutura em si, a força de trabalho dedicada ao manejo e à manutenção da infraestrutura também é reduzida e pode ser realocada.
A equipe pode focar no produto ou serviço que oferece, refinando a qualidade e inovando rapidamente de acordo com as demandas do mercado.
Nesse momento, vamos analisar alguns estudos de casos interessantes para expandir todo os conhecimentos abordados até aqui:
A empresa Casa dos Ventos, desenvolvedora de projetos de energia sustentável, conseguiu reduzir o tempo necessário para executar uma simulação de energia eólica de 15 dias para apenas 1 dia ao utilizar o BigQuery em conjunto com outras soluções do GCP.
O Grupo Soma, plataforma de várias marcas de moda, migrou toda sua arquitetura de banco de dados para o Google Cloud, e é dito que “o uso do BigQuery como data warehouse segmentado em camadas de dados, separando dados crus de informações sumarizadas e tratadas, foi um dos principais diferenciais para o sucesso do projeto”
O caso da empresa MadeiraMadeira, varejista de móveis, também evidencia sucesso ao relatar Economia de tempo na coleta e análise de dados, e que “95% das pessoas colaboradoras que precisam gerar relatórios ganharam mais agilidade nessa tarefa”.
Mesmo que sua área seja diferente das mencionadas acima, ainda há chances de o BigQuery se encaixar em sua carreira.
Confira o artigo BigQuery: empresas que o utilizam e os seus desafios e tenha a possibilidade de contemplar diversas empresas dos mais variados setores que alcança inovação e sucesso nos resultados por meio do auxílio dessa plataforma.
Quais empresas podem usar o BigQuery?
Qualquer uma, sério! Seja startup ou grande corporação, a flexibilidade do BigQuery acolhe uma diversidade de realidades.
Sim, O BigQuery está pronto para lidar com BigData e operar na escala de petabytes, mas isso não impede que empresas menores usufruam do mesmo ambiente - desde que faça sentido para suas necessidades de negócio.
Seja você alguém familiarizado em alguma área específica e com interesse em otimizar seu trabalho, ou especialista técnico capaz de lidar com quaisquer origens de dados, pode ser que o BQ mostre seu valor dentro do seu contexto de atuação.
Análise a seguir mais alguns exemplos de uso:
- Análises geoespaciais (ou geográficas): o BigQuery oferece suporte especializado a dados geográficos. Isso permite, por exemplo, coletar detalhes de locomoção e localização de veículos e pessoas, proporcionando às empresas informações estratégicas sobre rotas frequentes e locais mais visitados;
- Setor de vendas: com sua capacidade de comportar e processar grandes volumes de dados, o BigQuery oportuniza empresas de analisarem padrões de compra, comportamentos do público-alvo e eficácia das campanhas de marketing;
- Área da saúde: nesse contexto, o BigQuery pode ser aplicado para analisar registros médicos, extrair padrões de informações clínicas, otimizar a gestão de inventários de medicamentos, bem como facilitar pesquisas médicas;
- Inteligência de Negócios: em conjunto com outras ferramentas da Google, como o Looker Studio, por exemplo, o BigQuery pode ser extremamente útil para a aplicação dos conceitos de Business Intelligence, que focam em oferecer informações concisas para a tomada de decisões baseadas em dados.
Em uma rápida pesquisa por vagas que exigem habilidades em BigQuery no LinkedIn, encontrei uma variedade de cargos interessantes, incluindo:
E isso foi apenas nas primeiras páginas! O BigQuery mostra-se, sem dúvida, uma ferramenta versátil, capaz de se destacar em uma ampla gama de contextos.
Como acessar o BigQuery?
Para acessar o BigQuery, você precisa ser um cliente do Google Cloud. No artigo BigQuery: configurando o ambiente de trabalho, você pode se aprofundar ainda mais sobre como criar uma conta no Google e acessar o Google Cloud de maneira eficaz e produtiva.
Se você é um estudante ou apenas uma pessoa curiosa sobre o assunto, fique sabendo que o Google Cloud oferece US$300 para usar durante 90 dias no Google Cloud. Basta criar uma conta Google dedicada para esse fim.
Depois do período de teste, ainda há o nível gratuito de uso, que inclui 10GB de armazenamento e 1TB de consultas por mês. Mas lembre-se de não ativar a conta completa, para evitar cobranças indesejadas no seu cartão de crédito (e em dólares!).
Com a conta criada e associada a um projeto, existem algumas opções que permitem o acesso ao BigQuery:
- Console - a interface oficial, acessada diretamente pelo navegador, se chama BigQuery Studio. Caso você já esteja na plataforma do Google Cloud, clique no menu principal no canto superior direito da página, selecione “BigQuery” e então “BigQuery Studio”. Se necessário, ative a API.
Acesse a página Analise o console do Google Cloud para explorar todas as funcionalidades do console.
- Linha de comando: aos amantes do visual programador raiz, o BigQuery também pode ser acessado diretamente pelo Shell do Google Cloud. Basta abrir o Shell clicando no ícone no canto superior direito e, em seguida, ativar o Shell para o projeto específico. Para mais detalhes, consulte a documentação em Explorar a ferramenta de linha de comando bq
Para mergulhar ainda mais fundo no universo do BigQuery e ampliar suas habilidades, recomendamos explorar os seguintes recursos:
Como importar dados no BigQuery?
Para estudantes, o Big Query conta com acesso a vários bancos de dados públicos, proporcionando uma oportunidade única para explorar suas capacidades.
Você pode mergulhar em conjuntos de dados fascinantes, como os registros de viagens de táxi em Chicago ou sobre a pandemia de Covid-19. Utilizar essas fontes de dados é uma ótima forma de praticar habilidades e se familiarizar com a ferramenta.
Além disso, você tem outras opções interessantes, como por exemplo, a importação dos dados diretamente para o BigQuery, uma conexão externa ou ainda utilizar um streaming de dados!
Importação direta para o BQ
Imagine que você está trabalhando em um projeto de análise de dados e precisa importar uma variedade de arquivos locais para o BigQuery.
Com esta ferramenta é possível fazer upload de um arquivo local, seja um script SQL com instruções CREATE TABLE e INSERT, arquivos json, csv, e até formatos como Avro, Parquet e ORM.
Para isso, basta seguir as seguintes instruções para adicionar seu arquivo local no BigQuery:
- Acesse o console do BigQuery.
- Selecione o projeto em que deseja importar os dados.
- Na seção "Adicionar Dados", escolha a opção de upload de arquivo local.
- Selecione o arquivo desejado e siga as instruções para concluir o upload.
Para inserções de grandes volumes de dados, você pode criar jobs de carga de dados de fontes como Google Cloud Storage, Cloud Bigtable ou até mesmo de outros bancos de dados.
Conexões externas
O BigQuery conta com diversas possibilidades de conexão externa para que você possa manipular dados que são inseridos em bancos de dados locais ou em outros serviços de nuvem utilizando os poderes de processamento do Google.
É possível consultar dados, por exemplo, com as seguintes conexões:
| Tecnologia | Ação |
|---|---|
| Apache Spark | Processamento de grandes volumes de dados. |
| Bancos de dados relacionais | Utilizados para armazenar dados estruturados. |
| Amazon S3 e Azure | Armazenamento de dados na nuvem. |
Essas conexões são estabelecidas usando a API BigQuery Connection. Se você estiver interessado em aprender como criar e integrar um banco de dados MySQL com o BigQuery na nuvem do Google, confira o artigo Como criar e integrar um banco de dados MySQL com o BigQuery na nuvem Google para ver um exemplo do processo de como criar uma conexão externa.
Streaming de dados
Isso mesmo!
Para quem trabalha analisando big data, é possível carregar dados em tempo real - por meio da API Storage Write ou pela API de streaming legada.
Utilizar integrações com o Dataflow e o Pub/Sub é uma maneira eficaz de lidar com grandes volumes de dados em tempo real.
Para ver mais possibilidades ainda, confira o serviço de transferência de dados do BigQuery.
Como automatizar falhas no banco de dados BigQuery?
É tanta coisa possível dentro dessa plataforma! Gerenciar tanto trabalho assim não pode ser algo feito apenas manualmente, não é?
Ainda mais se, porventura, algum erro venha a ocorrer. Sabemos que isso é indesejável, mas, cotidiano e natural, e saber lidar com falhas é parte essencial de qualquer trabalho.
Além de ser uma possibilidade rodar scripts (por meio das APIs e linguagens programáticas que te contei) para prever possíveis falhas e contorná-las de forma elegante, todo o workflow pode ser automatizado por soluções do GCP como o Composer ou o Batch, que auxiliam na orquestração de um fluxo de trabalho completo e transformam imprevistos em meros inconvenientes que podem ser tranquilamente administrados.
Como escolher a solução ideal?
É interessante investigar as particularidades de cada estratégia.
- Cloud Batch: Ideal para quem busca simplicidade, praticidade e gerenciamento completo.
- Cloud Composer: Perfeito para quem precisa de flexibilidade, controle e gerenciamento centralizado de workflows complexos.
- Scripts personalizados: A escolha ideal para quem busca total personalização, economia e aprimoramento de conhecimentos técnicos.
Com essas soluções, o potencial já explorado até aqui só cresce. Sem perder tempo com tarefas repetitivas e redução de erros e falhas, você ganha ainda mais liberdade para lidar com a parte mais gostosa do trabalho: conhecer, explorar e extrair ações significativas de seus dados.
Cursos da Alura sobre BigQuery
Aqui na Alura, temos uma formação inteirinha sobre BigQuery. Olha só que legal o conteúdo explorado nela:
- Configuração do ambiente
- Consultas básicas a avançadas
- Funções
- Técnicas de manipulação de dados, como:
- criação de tabelas
- importação de dados de fontes externas
- uso do modo de comando do Google
- Procedimentos e funções UDF (User-Defined Functions)
Se você deseja construir um super repertório de conhecimentos nessa ferramenta e se preparar para aplicar em situações reais, construindo consultas dinâmicas e extraindo respostas valiosas de grandes conjuntos de dados, essa formação é para você.
Caso tenha surgido alguma curiosidade sobre a imensidão do GCP e todas suas possibilidades, venha conhecer mais sobre algumas de suas ferramentas:
Bora estudar!
Conclusão
Eu, particularmente, fico fascinada quando paro para observar a amplitude de possibilidades que a tecnologia em nuvem e a Ciência de Dados nos oferecem.
A combinação desses dois temas é um caminho excelente para construção de um futuro que faça sentido para você ou sua organização.
Espero que você tenha gostado de conhecer um pouquinho mais sobre o BigQuery e todas suas facetas. Porém, esse tema não se encerra por aqui, há muito mais a explorar!
Vem com a gente mergulhar em tecnologia.
Um abraço e até mais!
Créditos
- Conteúdo: Larissa Dubiella
- Produção técnica: Daniel Siqueira
- Produção didática: Cláudia Machado
- Designer gráfico: Alysson Manso
- Apoio: Rômulo Henrique