Plano de experimentos — predição de matrículas para o PNLD

Arquivos esperados na pasta

• CSV do Censo de Maceió — todas as escolas, etapas e anos disponíveis.
• Coordenadas das escolas (no CSV ou em arquivo separado).
• Notebook Jupyter com os experimentos mais recentes do autor.

Primeira ação obrigatória

Produzir results/data_recon.md documentando: schema do CSV e seu mapeamento para o esquema canônico; granularidade (série/grade vs. etapa agregada); anos disponíveis e nº de origens de backtesting; diagnóstico de qualidade das coordenadas (% ausente, % em centroide, bounding box); o que foi aproveitado do notebook; e o mapa de oferta por escola (quais grades cada escola atende).

Regra geral de decisão

Trabalhar sempre na menor granularidade disponível. Mapear nomes reais de coluna para o esquema canônico. Não corrigir coordenadas nesta rodada — apenas diagnosticar. Reutilizar do notebook só o que for sólido, documentando o que foi descartado.

Cadeia canônica grade-a-grade

EI_PRE → EF_1 → … → EF_5 → EF_6 → … → EF_9 → EM_1 → EM_2 → EM_3

Classificação automática de cada grade-escola

• Série interna — a grade predecessora existe na mesma escola; a coorte progride internamente. → Exp. 4 (GPR).
• Série de fronteira — a predecessora não existe na mesma escola, mas existe na vizinhança; a coorte entrou de fora. → Exp. 5 (alocação espacial).

As fronteiras emergem dos dados

• EI_PRE → EF_1 em escola só de EF (a transição infantil → anos iniciais).
• EF_5 → EF_6 em escola só de anos iniciais.
• EF_9 → EM_1 em escola só de fundamental.
• qualquer outra descontinuidade de oferta.

Objetivo

Estabelecer o erro de referência ("o número a bater") em t+2, com rigor. Gera a tabela mestra e as previsões que os demais experimentos reutilizam.

Procedimento

Para cada série, treinar e prever t+2 com: naive (último valor), drift, média móvel, tendência linear, Holt/ETS e auto-ARIMA (ordens baixas se o custo for proibitivo).

Saídas

predictions/exp1.csv; metrics_by_method.csv; metrics_by_method_stage.csv; summary.json com o ranking e os arrays para barras comparativas.

Objetivo

Testar se modelar por etapa supera um modelo global único. Apenas etapa nesta rodada (sem urbano/rural nem dependência).

Procedimento

Comparar o melhor baseline global contra o melhor baseline por etapa, pareando por escola-série e aplicando teste t-pareado (ou Wilcoxon, se a distribuição dos erros for muito assimétrica — registrar qual).

Saídas

stratification_gain.csv (erro global, erro estratificado, diferença, p-valor por etapa); summary.json com barras "ganho por etapa".

Objetivo

Mostrar que a incerteza é (a) confiável e (b) decisória para a compra do PNLD sob custo assimétrico.

Método — conformal prediction (method-agnostic)

Banda simétrica por nível α (métricas PICP e MPIW) e bandas por quantil para a curva de compra. Embrulha qualquer preditor, sem depender da estrutura do modelo.

As três camadas de decisão

1. Erro decomposto em direção — under/over do preditor-base; quantifica o problema "faltou vs. sobrou".
2. Curva de compra por quantil — para cada nível de compra: comprado, falta, sobra, escolas com falta. Produz a fronteira sobra × falta.
3. Custo sob perda assimétrica — custo(p,k) = k·falta(p) + sobra(p); para cada k, o nível de compra ótimo p*. Produz custo × p e p* × k.

Saídas

coverage.csv; purchase_curve.csv (um ponto por nível de compra, com tooltip); cost_curves.csv e p_star_by_k.csv; summary.json.

Objetivo

Testar se a estrutura de coorte supera a série temporal pura nas séries internas, onde a coorte progride dentro da escola.

Procedimento

Estimar razões de progressão grade-a-grade por escola, com fallback hierárquico para a GPR média da etapa no município quando o histórico for curto. Previsão t+2: ancorar em g−2 observado e encadear duas GPRs. Comparar contra o baseline campeão nas mesmas séries internas.

Saídas

predictions/exp4.csv; gpr_by_transition.csv; gpr_vs_baseline.csv (recortado por tipo de série); summary.json.

Objetivo

Testar se a estrutura espacial supera a série temporal pura nas séries de fronteira, onde a coorte troca de escola e o time-series é cego. Compõe com a GPR do Exp. 4.

Procedimento

• Vizinhança por proximidade pura: as k escolas mais próximas que ofertam a grade predecessora (distância Haversine sobre coordenadas cruas).
• Pool alimentador: soma das matrículas da grade predecessora na vizinhança.
• Alocação às receptoras calibrando um fator de captação por escola contra as margens de ingresso históricas.
• Validação: reconstruir o ingresso histórico e comparar contra o time-series puro só nas grades de fronteira; sensibilidade a k ∈ {3, 5, 10}.

Saídas

predictions/exp5.csv; coord_quality.csv; spatial_vs_timeseries.csv (por tipo de fronteira); sensitivity_k.csv; summary.json.

Entrega

Cinco experimentos em Maceió, t+2, só margens agregadas, com under/over medido em todos, incerteza ligada à decisão de compra, e o grafo de fronteira generalizado para todas as transições de etapa — tudo como dados estruturados para um HTML dinâmico posterior.

Síntese transversal (fecha a apresentação)

A narrativa em camadas: baseline difícil de bater → segmentar ajuda aqui → faixa de incerteza confiável e usável para decidir compra → coorte agrega no miolo → espacial agrega na fronteira.

Fora desta rodada (próximo passo, já desenhado)

Módulo 1 — variáveis exógenas (nascidos vivos defasados / SINASC, população / IBGE), que exige aquisição e limpeza de base externa. Decomposição do vazamento da coorte: evasão vs. migração para a rede privada vs. retenção (Módulos 2 e 3). O grafo de fronteira já entrega o vazamento total localizado por nó — gancho direto para esses módulos.