README.md

Datasets sintéticos do curso

Os datasets representam uma empresa fictícia de comércio digital que vende produtos e serviços em várias regiões do Brasil. Eles foram criados para os laboratórios de S3, Python, Lambda, Glue, Athena, Terraform, observabilidade e projeto final. Nenhum registro representa pessoa, empresa ou cobrança real.

Como escolher o dataset

Módulos	Arquivos principais	Uso
01 a 04	custos_aws.csv	leitura de cenário, segurança, orçamento e preparação do ambiente
05 e 06	clientes.csv, produtos.csv, vendas.csv, vendas_lote_02.csv	data lake, ingestão, tipagem, deduplicação e quarentena
07	eventos_s3.jsonl	parsing de eventos, idempotência e tratamento de chaves codificadas
08	vendas_lote_02.csv e devolucoes.csv	catálogo, transformação, Parquet e particionamento
09 e 10	todos os arquivos de negócio	joins, indicadores, reconciliação e pipeline serverless
11 e 12	inventario_recursos.csv	modelagem de recursos, variáveis, tags e dependências Terraform
13	execucoes_pipeline.csv e custos_aws.csv	métricas, incidentes, custo unitário e FinOps
14	avaliacoes_ia.csv	revisão de respostas técnicas e identificação de risco
15	conjunto completo	projeto de portfólio e narrativa técnica

Catálogo de cenários adicionais

Dataset	Formato	Tema principal
pedidos.csv	CSV	ciclo do pedido, status e atraso
clickstream.jsonl	JSONL	eventos web, sessão e event time
iot_telemetria.csv	CSV	sensores, leitura inválida e dado atrasado
spotify_streams.csv	CSV	consumo de mídia sintético e agregações
github_eventos.jsonl	JSONL	eventos de engenharia e lead time
cloudwatch_metricas.csv	CSV	métricas, p95 e alarmes
finops_alocacao.csv	CSV	tags, centros de custo e showback
logs_aplicacao.jsonl	JSONL	correlação, severidade e diagnóstico
erros_lambda.csv	CSV	retries, timeout, acesso e idempotência
glue_jobs.csv	CSV	duração, DPU, linhas e rejeições
athena_consultas.csv	CSV	bytes lidos, formato, partição e custo

Cada arquivo é pequeno o suficiente para inspeção manual e contém pelo menos uma decisão ou anomalia útil ao aprendizado. O objetivo não é simular escala, e sim tornar regras, métricas e falhas visíveis antes de usar serviços pagos.

Dicionário dos datasets de cenário

Dataset	Campos que orientam a análise	O que validar
athena_consultas.csv	formato, particao_filtrada, colunas_selecionadas, bytes_lidos	relação entre layout físico, filtro, projeção, custo e duração
avaliacoes_ia.csv	tarefa, resposta_resumida, risco_principal, classificacao_esperada	se a resposta pode ser aceita, corrigida ou rejeitada com justificativa
clickstream.jsonl	event_id, session_id, event_time, event_type, page	identidade do evento, sequência da sessão e diferença entre evento novo e retry
cloudwatch_metricas.csv	invocacoes, erros, duracao_p95_ms, throttles	taxa de erro, saturação e condição de alarme acionável
custos_aws.csv	servico, ambiente, centro_custo, custo_usd	tendência de gasto, atribuição e anomalia por serviço ou ambiente
devolucoes.csv	venda_id, data_devolucao, quantidade, motivo	integridade com a venda e impacto sobre receita líquida
erros_lambda.csv	error_type, http_status, retryable, attempt, source_key	quais falhas admitem retry e quais exigem correção ou quarentena
eventos_s3.jsonl	event_id, bucket, key, size	evento duplicado, chave codificada e construção de saída idempotente
execucoes_pipeline.csv	status, registros_entrada, registros_saida, retry_count	reconciliação, taxa de sucesso, rejeição e cumprimento de SLO
finops_alocacao.csv	recurso, project, cost_center, custo_usd, tag_status	custo sem atribuição, showback e cobertura de tags obrigatórias
github_eventos.jsonl	repository, event_type, actor, event_time, ref	lead time, fluxo de revisão e rastreabilidade de mudança
glue_jobs.csv	status, workers, worker_type, linhas_entrada, linhas_rejeitadas	falha, duração, qualidade e uso de capacidade por job
inventario_recursos.csv	tipo, ambiente, criptografia, versionamento, dependencia	grafo Terraform, controles obrigatórios e recursos externos
iot_telemetria.csv	sensor_id, event_time, temperatura_c, bateria_pct, status	leitura inválida, duplicidade, dado atrasado e regra de quarentena
logs_aplicacao.jsonl	timestamp, level, execution_id, component, message	correlação ponta a ponta sem depender de texto solto ou dado sensível
pagamentos.csv	venda_id, meio_pagamento, status, valor_pago	reconciliação entre venda, aprovação, recusa, estorno e valor
pedidos.csv	status, prazo_dias, data_entrega, valor_total	tempo de ciclo, atraso e regra do indicador de entrega no prazo
spotify_streams.csv	usuario_ficticio, artista_ficticio, duracao_ouvida_seg, dispositivo	agregação de consumo, ouvintes únicos e risco de dupla contagem
vendas_lote_02.csv	mesmos campos de vendas.csv, com anomalias adicionais	evolução incremental, deduplicação, referência inválida e data impossível

Modelo de negócio

clientes.csv

Campo	Tipo esperado	Regra
cliente_id	texto	chave no padrão C999
nome_cliente	texto	nome fictício não vazio
segmento	texto	varejo, atacado, educação ou saúde
uf	texto	sigla de unidade federativa

produtos.csv

Campo	Tipo esperado	Regra
produto_id	texto	chave no padrão P999
nome_produto	texto	descrição do item
categoria	texto	hardware, software, serviço ou educação
preco_lista	decimal	maior que zero

vendas.csv e vendas_lote_02.csv

Campo	Tipo esperado	Regra
venda_id	texto	chave única no padrão V999
data_venda	data ISO	data válida no formato AAAA-MM-DD
cliente_id	texto	deve existir em clientes
produto_id	texto	deve existir em produtos
quantidade	inteiro	maior que zero
valor_unitario	decimal	maior que zero

pagamentos.csv

Relaciona a venda ao meio de pagamento, ao status e ao valor processado. Uma venda aprovada deve ter valor compatível com quantidade * valor_unitario.

devolucoes.csv

Registra devoluções totais ou parciais. A quantidade devolvida não pode superar a quantidade originalmente vendida.

estoque.csv

Representa o saldo diário por produto e centro de distribuição. Saldos negativos são anomalias que precisam ser isoladas ou justificadas.

Problemas de qualidade intencionais

Os defeitos fazem parte dos exercícios e não devem ser corrigidos diretamente na camada raw:

• vendas.csv contém uma quantidade zero e um valor unitário ausente;
• estoque.csv contém um saldo negativo;
• vendas_lote_02.csv repete V006, inclui uma data impossível, referencia um produto inexistente e possui valor vazio;
• eventos_s3.jsonl repete um evento e contém uma chave com espaço codificado como +;
• execucoes_pipeline.csv contém sucessos, falhas, retry e atraso suficiente para análise de SLO;
• avaliacoes_ia.csv contém respostas inseguras ou tecnicamente frágeis para revisão humana.

Regras de uso no data lake

1. Preserve os arquivos originais em raw.
2. Grave registros rejeitados em quarantine com o motivo da rejeição.
3. Publique em processed somente dados tipados e válidos.
4. Produza em curated indicadores com regra de negócio documentada.
5. Registre contagens de entrada, saída, rejeição e duplicidade em cada execução.

Validação local rápida

Os arquivos usam UTF-8, separador vírgula e ponto como separador decimal. Antes de enviar para a AWS, abra-os no editor e confira cabeçalho, quantidade de linhas e campos obrigatórios. Os projetos incluem testes automatizados para as regras mais importantes.

Licença dos dados

Os dados são sintéticos e fazem parte do material educacional do curso. Podem ser modificados e reutilizados nos exercícios e projetos dos alunos, respeitando a licença do repositório.