Engenharia de dados

Azure Databricks

Arquitetura, código e decisões.Estudos de portfólio

Engenharia de dados · arquitetura Lakehouse

Bike Store Lakehouse

Da entrada CSV ao consumo analítico, com Delta Lake, governança e PySpark.

  • Azure
  • PySpark
  • Delta Lake
  • Power BI

Selecione uma camada para explorar.Fluxo visual de dados · animação conceitual

Silver · Limpeza e enriquecimento

Produtos, marcas, categorias e estoques.

Notebooks
  1. 01

    Origem

    Tabelas Delta da Bronze, com os domínios de produtos, pedidos e clientes.

  2. 02

    Transformação

    Junção de produtos, marcas, categorias e estoques agregados. Cálculo de total_sale, tradução de status e validação de contatos.

  3. 03

    Destino

    Bases Silver de produtos, pedidos e clientes para as regras de negócio da Gold.

Linhagem da transformação
  • products
  • brands
  • categories
  • stocks
SUM(quantity) por product_id + LEFT JOIN
silver / product

Minha atuação

Estruturação do Lakehouse, transformações em PySpark e Spark SQL, governança com Unity Catalog e orquestração com Workflows.

Relato do projetoArtefatos originais
Contexto, decisões e limites do estudo

Estudo de portfólio de uma operação varejista de bicicletas. Carga inicial manual de nove tabelas CSV; processamento posterior em Delta. Não representa uma operação empresarial em produção.

Identidade e acesso
Access Connector com identidade gerenciada e RBAC no armazenamento.
Governança
Unity Catalog: catálogo bikestore, schema logistics e volume externo bikestore_resource.
Orquestração
Workflows com dependências entre Bronze, Silver e Gold.
Computação
Cluster Single Node, versão LTS e terminação automática por inatividade.