Este projeto implementa um pipeline modular de ETL (Extract, Transform, Load) utilizando o conjunto de dados de e-commerce da Olist.
O objetivo é realizar a extração de dados provenientes de arquivos CSV, aplicar transformações para limpeza e padronização das informações e, posteriormente, armazenar os dados em um banco PostgreSQL estruturado para análises futuras.
O pipeline foi desenvolvido seguindo boas práticas de Engenharia de Dados, incluindo:
- ✅ Modularização: Código dividido em pacotes de configuração, banco e pipeline (
src/) - ✅ Orquestração Única: Ponto de entrada centralizado para execução do fluxo
- ✅ Segurança: Usuário dedicado, evitando exposição do superusuário do sistema
- ✅ Performance: Inserções em lote (Bulk Insert) utilizando
executemany() - ✅ Idempotência: Tratamento de duplicidades com cláusulas estruturadas
- ✅ Integridade Referencial: Relacionamentos protegidos por chaves estrangeiras
- ✅ Containerização: Ambiente de banco de dados isolado via Docker Compose
| Tecnologia | Finalidade |
|---|---|
| Python 3.14+ | Desenvolvimento do pipeline |
| Pandas | Extração e transformação dos dados |
| Psycopg 3 | Comunicação com PostgreSQL |
| PostgreSQL 18 | Armazenamento dos dados |
| Docker Compose | Infraestrutura do banco de dados |
| uv | Gerenciamento de dependências e ambientes |
analise_ecommerce/
│
├── base_de_dados/ # Arquivos CSV brutos (Ignorados pelo Git)
│ ├── olist_orders_dataset.csv
│ ├── olist_order_items_dataset.csv
│ └── ...
│
├── src/
│ ├── __init__.py
│ ├── config.py # Configurações e caminhos do projeto
│ ├── database.py # Criação e gerenciamento das tabelas
│ └── pipeline.py # Funções de extração, transformação e carga
│
├── docker-compose.yml # Infraestrutura PostgreSQL
├── .gitignore
├── .python-version
├── pyproject.toml
├── uv.lock
├── run_pipeline.py # Orquestrador principal
└── README.md
[ CSV Files ] (base_de_dados/)
│
▼
[ Extração ] (src/pipeline.py → Pandas)
│
▼
[ Transformação ] (Data Cleaning & Timestamps)
│
▼
[ Carga em Lote ] (Psycopg 3 → Bulk Insert)
│
▼
[ PostgreSQL Container ] (Docker Compose)
A arquitetura foi projetada para utilizar um usuário dedicado ao projeto e um ambiente isolado via Docker, garantindo consistência entre desenvolvimento, testes e futuras implantações.
Antes de iniciar, certifique-se de possuir:
- Docker e Docker Compose instalados
- Python 3.14+
- uv instalado
curl -LsSf https://astral.sh/uv/install.sh | shpowershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"O projeto utiliza o Docker Compose para isolar o ambiente de dados, garantindo que o PostgreSQL 18 execute de forma idêntica em qualquer máquina.
Certifique-se de que o Docker está instalado e ativo na sua máquina.
Na raiz do projeto, execute:
docker compose up -dO Docker criará automaticamente:
- Banco de dados
ecommerce - Usuário
olist_user - Senha padrão
admin - Porta
5432exposta localmente
Para garantir que o banco de dados foi inicializado corretamente:
docker psVocê deverá visualizar um container semelhante a:
olist_postgres_container
com status Up.
git clone https://github.com/wedleycso/analise_ecommerce.git
cd analise_ecommerceO projeto utiliza o uv para gerenciamento de dependências e ambientes virtuais.
Sincronize o ambiente:
uv syncO uv utilizará automaticamente os arquivos .python-version e pyproject.toml para configurar o ambiente de execução.
Com o container PostgreSQL ativo, execute o pipeline:
uv run run_pipeline.pyO orquestrador central será responsável por:
- Criar ou validar a estrutura do banco de dados
- Executar a carga da tabela
olist_orders - Executar a carga da tabela
olist_order_items - Garantir a sequência correta das operações
- Inserir os dados diretamente no PostgreSQL executando dentro do container Docker
Dados principais do fluxo de pedidos:
- ID do pedido (
order_id) - ID do cliente (
customer_id) - Status do pedido (
order_status) - Data da compra (
order_purchase_timestamp)
Itens associados a cada pedido:
- ID do pedido
- ID do produto
- ID do vendedor
- Preço do produto
- Valor do frete
- Número sequencial do item
Características da modelagem:
- Chaves compostas
- Chaves estrangeiras
- Integridade referencial
ON DELETE CASCADE
- Apache Airflow para orquestração
- Data Warehouse dimensional
- Dashboards com Power BI
- Dashboards com Streamlit
- Testes automatizados
- Integração com AWS S3
- Pipeline CI/CD
- Camada de validação de qualidade dos dados (Data Quality)
- Monitoramento e observabilidade do pipeline
- Data Lake para armazenamento bruto dos dados
Este projeto foi desenvolvido com foco no aprendizado de conceitos fundamentais de:
- Engenharia de Dados
- ETL
- Banco de Dados Relacional
- PostgreSQL
- Docker
- Python para Dados
- Modelagem de Dados
- Integração entre aplicações e banco de dados
- Arquitetura de pipelines modulares
O projeto segue os princípios de Versionamento Semântico (SemVer):
MAJOR.MINOR.PATCH
Versão atual:
v0.3.1
Wédley C. Oliveira
🎓 Analista e Desenvolvedor de Sistemas
📊 Focado em Engenharia de Dados, Análise de Dados e Desenvolvimento Backend.
- GitHub: https://github.com/wedleycso
⭐ Se este projeto foi útil para você, considere deixar uma estrela no repositório.