Azure Databricks
Arquitetura, código e decisões.Estudos de portfólio
Bike Store Lakehouse
Da entrada CSV ao consumo analítico, com Delta Lake, governança e PySpark.
- Azure
- PySpark
- Delta Lake
- Power BI
Selecione uma camada para explorar.Fluxo visual de dados · animação conceitual
Silver · Limpeza e enriquecimento
Produtos, marcas, categorias e estoques.
- 01
Origem
Tabelas Delta da Bronze, com os domínios de produtos, pedidos e clientes.
- 02
Transformação
Junção de produtos, marcas, categorias e estoques agregados. Cálculo de total_sale, tradução de status e validação de contatos.
- 03
Destino
Bases Silver de produtos, pedidos e clientes para as regras de negócio da Gold.
productsbrandscategoriesstocks
silver / productMinha atuação
Estruturação do Lakehouse, transformações em PySpark e Spark SQL, governança com Unity Catalog e orquestração com Workflows.
Contexto, decisões e limites do estudo
Estudo de portfólio de uma operação varejista de bicicletas. Carga inicial manual de nove tabelas CSV; processamento posterior em Delta. Não representa uma operação empresarial em produção.
- Identidade e acesso
- Access Connector com identidade gerenciada e RBAC no armazenamento.
- Governança
- Unity Catalog: catálogo bikestore, schema logistics e volume externo bikestore_resource.
- Orquestração
- Workflows com dependências entre Bronze, Silver e Gold.
- Computação
- Cluster Single Node, versão LTS e terminação automática por inatividade.