roadmap-data-engineer.md

Roadmap de Engenharia de Dados

Nível inicial — Dados confiáveis

1. Ler CSV e JSON sem perder codificação ou tipos.
2. Definir schema, chave, granularidade e regra de qualidade.
3. Escrever SQL com filtros, agregações e joins corretos.
4. Automatizar validações com Python e testes.

Projeto de comprovação: Data Lake no S3.

Nível intermediário — Pipelines reproduzíveis

1. Separar batch, evento e streaming pelo requisito.
2. Projetar idempotência, retries, quarentena e reprocessamento.
3. Trabalhar com Parquet, partições e catálogo.
4. Reconciliar contagens e indicadores entre etapas.

Projeto de comprovação: Pipeline serverless.

Nível avançado inicial — Plataforma operável

1. Declarar infraestrutura e controlar state.
2. Automatizar testes e deploy com credenciais temporárias.
3. Medir latência, falha, qualidade, freshness e custo.
4. Documentar runbooks, decisões e resposta a incidentes.

Projetos de comprovação: Terraform e CI/CD.

Consolidação — Decisão técnica

O profissional deixa de apenas operar ferramentas quando consegue comparar alternativas, explicar trade-offs, testar hipóteses e conectar arquitetura ao resultado de negócio.

Projeto de comprovação: Analytics de vendas.

Próximos temas após o curso

• orquestração e qualidade automatizada;
• modelagem dimensional e dbt;
• streaming com Kafka ou Kinesis;
• lakehouse e formatos de tabela;
• observabilidade de dados;
• governança, catálogo e linhagem em escala.