1. Resumo executivo
Os quatro pontos registrados na reunião foram desenvolvidos e, onde os dados permitiam, executados:
(último ano, escalonada)
(seleção por taxonomia, −5,1%)
(limite teórico de seleção)
CD de Nemenyi = 1,52
Resposta Meta-aprendizado: existe literatura consolidada (FFORMS/FFORMA), e o gap ao oráculo mostra que a seleção por série é onde mora o ganho. Recomendação: a versão mínima e interpretável — seleção por regra de domínio (a taxonomia) — já foi computada aqui e vence o campeão único. FFORMA completo fica condicional/trabalho futuro.
Resposta Oráculo: calculado por série (não por etapa). Gráfico estendido 1º EF → 3º EM montado com retroativa (todas as etapas), escalonada (onde existe), oráculo e proposto.
Resposta Friedman–Nemenyi: executado de verdade sobre 79 blocos etapa×ano-alvo: H₀ rejeitada; as três primeiras posições são todas da série escalonada; diagrama de diferença crítica na Seção 4.
Resposta Taxonomia: formalizada com base legal (CF/88 art. 211; LDB arts. 10, 11, 32, 35; Resolução CNE/CEB 7/2010) + oito estatísticas de comportamento já computadas nos blocos experimentais existentes. Novidade: a fronteira contamina a cadeia (6º e 7º ano), não só a etapa receptora — e isso é previsto pela taxonomia e confirmado pelos dados.
2. Meta-aprendizado para escolher o modelo no ensemble?
2.1 O que a literatura oferece
Há duas famílias consolidadas. A primeira é a seleção de modelo por série (model selection): um meta-modelo aprende, a partir de características da série (tamanho, tendência, estabilidade, entropia…), qual método usar em cada série — é a linha de Prudêncio & Ludermir (2004), Lemke & Gabrys (2010) e do FFORMS de Talagala, Hyndman & Athanasopoulos. A segunda é a combinação ponderada por meta-modelo (model averaging): em vez de escolher um método, o meta-modelo aprende pesos para combinar todos — é o FFORMA (Montero-Manso et al., 2020), 2º lugar na competição M4. Ambas descendem conceitualmente do stacked generalization de Wolpert (1992).
2.2 Por que a ideia é atraente nestes dados
O argumento empírico é o oráculo da Seção 3: se fosse possível escolher, série a série, a melhor combinação método×estrutura, o MAE global cairia de 7,34 para 2,33 — ou seja, cerca de dois terços do erro do campeão único vêm de usar o mesmo método para todas as séries. O espaço de ganho da seleção é muito maior do que o espaço de ganho de qualquer método novo. Essa é exatamente a justificativa teórica que um capítulo de método precisa para introduzir seleção — por regra ou por aprendizado.
2.3 Por que não recomendo o FFORMA completo agora
Três razões. Prazo: treinar e validar um meta-modelo (features por série + gradient boosting + validação temporal) é uma frente experimental nova, incompatível com o congelamento de 31/08. Explicabilidade: a banca pediu explicitamente explicabilidade e regras de domínio; um meta-modelo opaco escolhendo métodos enfraquece esse ponto. Séries curtas: boa parte das séries da base tem menos de 10 pontos — meta-features estatísticas ficam ruidosas exatamente onde a seleção mais importa.
2.4 A recomendação: o meta-seletor de uma feature novo
Entre “nenhuma seleção” e “seleção aprendida”, existe o degrau que a taxonomia já constrói: selecionar a estrutura temporal pela classe da série — escalonada para séries internas, retroativa para séries cuja cadeia cruza uma transição crítica. É um meta-seletor com uma única feature binária, derivada da LDB e do mecanismo de dispersão de coorte, 100% explicável e sem treinamento. É o “proposto” do gráfico da Seção 3, e conecta três exigências da qualificação de uma vez: incorporação de regras de domínio, investigação do baseline forte e contribuição clara.
Se os orientadores quiserem um gesto adicional na direção do ensemble, o degrau seguinte barato é o E6 do parecer (média/mediana dos baselines na comparação principal) — e o FFORMA fica nomeado nos trabalhos futuros como extensão natural do meta-seletor.
3. A linha do oráculo — gráfico estendido 1º EF → 3º EM
3.1 O que é a linha do oráculo
O oráculo é o limite inferior teórico da seleção: para cada série (escola × etapa-alvo × ano-alvo), toma-se a posteriori o menor erro absoluto entre as 10 combinações método×estrutura disponíveis. Ele não é um método (usa informação do futuro); é a régua que mostra quanto erro restaria se a seleção por série fosse perfeita. A distância entre o melhor método real e o oráculo é o espaço de ganho de qualquer estratégia de seleção — da regra de domínio ao meta-aprendizado.
Aqui o oráculo foi computado por série sobre os EXEC da qualificação (a mesma base do slide 38), em três versões: oráculo pleno (10 combinações), oráculo só-retroativa e oráculo só-escalonada (5 cada).
MAE por etapa — retroativa, escalonada, oráculo e proposto (1º EF → 3º EM). Clique na legenda para mostrar/ocultar linhas. Linhas tracejadas azuis = retroativa (bloco Reunião Orientação, nacional, alvos 2021–2025, 4 baselines). Linhas sólidas quentes = escalonada (EXEC da qualificação, alvos 2010–2025). Verde pontilhado = oráculo por série; teal grosso = proposto (seleção por taxonomia). Faixa cinza = etapas sem série escalonada construída. Fontes: erro_por_etapa_nacional.csv (Reunião Orientação) e EXEC_18_03_2026-FC.csv (qualificação). Os dois blocos usam protocolos e períodos distintos — a comparação entre linhas tracejadas e sólidas é qualitativa (ver nota abaixo).
3.2 O que o oráculo revela novo
| Etapa | Campeão único¹ | Proposto² | Oráculo (10) | Oráculo retro (5) | Oráculo escal. (5) | N séries |
|---|---|---|---|---|---|---|
| 4º EF | 5,99 | 5,99 | 2,15 | 4,81 | 4,26 | 324.315 |
| 5º EF | 6,02 | 6,02 | 2,06 | 4,93 | 3,95 | 233.372 |
| 6º EF | 13,77 | 11,14 | 3,50 | 5,81 | 11,32 | 69.997 |
| 7º EF | 12,25 | 10,50 | 3,19 | 5,53 | 9,71 | 49.274 |
| 8º EF | 8,46 | 8,46 | 2,25 | 5,33 | 4,34 | 29.576 |
| 9º EF | 9,22 | 9,22 | 2,34 | 5,07 | 5,09 | 8.977 |
| Global | 7,34 | 6,96 | 2,33 | 5,02 | 5,23 | 715.511 |
¹ Melhor combinação única global: último ano na escalonada, aplicada a todas as etapas. ² Proposto = último ano com estrutura selecionada pela taxonomia (retroativa no 6º–7º EF; escalonada nas demais). MAE em alunos.
Três leituras importam para a dissertação:
(i) O espaço de ganho está na seleção, não em métodos novos. Nenhum dos 10 competidores chega perto de 2,33; a diferença entre os métodos (7,34 a 11,33) é pequena comparada à distância de todos ao oráculo. Isso é a formulação quantitativa da hipótese auxiliar do CONTEXTO (“a estruturação importa tanto quanto o modelo”) — e a justificativa formal para qualquer capítulo de seleção/ensemble.
(ii) O oráculo por estrutura conta a história da taxonomia sozinho. No 6º–7º EF, até o oráculo da escalonada (11,32 / 9,71) perde para o oráculo da retroativa (5,81 / 5,53) — ou seja, nas séries de fronteira não existe método capaz de salvar a estrutura escalonada: o problema é a representação, não o algoritmo. Nas etapas internas ocorre o inverso. Este é possivelmente o argumento mais limpo de toda a dissertação para “a estrutura dos dados importa”.
(iii) A defasagem entre oráculo pleno (2,33) e oráculos por estrutura (~5) mostra que a escolha ideal alterna método por série — evidência de que a heterogeneidade é fina (série a série), o que dá fôlego tanto à investigação do baseline forte (E2) quanto ao meta-aprendizado como trabalho futuro.
O gap ao oráculo por etapa: campeão único vs. proposto vs. oráculo. EXEC da qualificação, MAE em alunos. O proposto reduz o MAE do campeão único em 19,1% no 6º EF (13,77 → 11,14) e 14,2% no 7º EF (12,25 → 10,50), sem nenhum método novo — apenas trocando a estrutura da série nas etapas de fronteira.
3.3 Validação temporal do proposto (sem vazamento)
A regra do proposto é fixa e a priori (deriva da LDB e do mecanismo de coorte, não de otimização nos dados de teste) — mas, como a heterogeneidade do 6º/7º foi observada nesta mesma base, cabe a verificação: o ganho se sustenta ano-alvo a ano-alvo? Sim: o proposto vence ou empata com o campeão único em todos os anos-alvo desde 2016 (exceção: 2018, diferença de 0,002 aluno), com ganhos crescentes — +6,4% em 2023, +7,8% em 2024, +5,7% em 2025. Nos alvos antigos (2012–2015) perde por ~2%, quando a amostra elegível de 6º/7º ainda era pequena. Para o regime operacional do PNLD (alvos recentes), a regra é consistentemente superior.
4. Friedman–Nemenyi e o gráfico de ranking
4.1 O protocolo (Demšar, 2006)
O procedimento canônico para comparar k métodos sobre múltiplos conjuntos de dados tem três passos. Passo 1 — Friedman: em cada bloco (conjunto de dados), os k métodos são ranqueados do melhor (1) ao pior (k); o teste verifica a hipótese nula de que os ranks médios são iguais (todos os métodos equivalentes). Usa-se também a correção de Iman–Davenport, menos conservadora. Passo 2 — se H₀ for rejeitada, aplica-se o post-hoc de Nemenyi: dois métodos diferem significativamente se seus ranks médios distam mais que a diferença crítica CD = qα·√(k(k+1)/6N). A CD não é escolhida — é calculada a partir de α, k e N. Passo 3 — gráfico de ranking (CD diagram): eixo com os ranks médios, melhor à direita; barras horizontais conectam grupos de métodos estatisticamente indistinguíveis entre si.
Isso responde diretamente à crítica da banca (“a análise apenas com MAE está rasa”) e antecede os testes pareados: primeiro o teste global diz se há diferenças; depois Wilcoxon pareado com correção de Holm e tamanho de efeito (rank-biserial) confirma quais pares de interesse diferem — exatamente o protocolo único da Seção 9 do parecer.
4.2 Aplicação aos dados do estudo novo
Blocos = células etapa×ano-alvo dos EXEC (N = 79 blocos válidos; em cada bloco, o MAE de cada uma das k = 10 combinações método×estrutura). Resultados:
H₀ (equivalência) rejeitada
(q₀,₀₅;₁₀ = 3,164; N = 79)
Diagrama de diferença crítica — 10 combinações método × estrutura. Ranks médios sobre 79 blocos etapa×ano-alvo (EXEC da qualificação). Melhor à direita. Barras pretas conectam grupos sem diferença estatisticamente significativa (Nemenyi, α = 0,05, CD = 1,52). Esc. = série escalonada; Ret. = série retroativa.
4.3 Leitura dos resultados
Os métodos não são equivalentes (H₀ rejeitada com folga) — e a ordenação conta a história da dissertação: as três primeiras posições são todas da série escalonada (Kalman 3,34; último ano 3,61; suavização exponencial 4,01), estatisticamente indistinguíveis entre si. A quarta posição é o melhor da retroativa (Kalman 5,04), que ainda pertence ao grupo do 2º–3º. As duas últimas posições (média e regressão linear na retroativa) estão isoladas no fundo. Em outras palavras: a estrutura da série desloca o ranking mais do que o método — a versão estatística formal do achado central.
Nuance de protocolo que merece registro: pelo rank médio o Kalman-escalonada é o 1º, mas pelo MAE global o último ano-escalonada vence (7,34 vs. 7,58). Não é contradição: o rank trata cada bloco etapa×ano igualmente; o MAE global pondera pelo volume de séries (o 4º–5º EF domina). É a “sensibilidade de protocolo” já registrada no parecer (Seção 9) — mais um motivo para a alegação estável ser “baselines simples são difíceis de superar; qual lidera depende da estrutura e do protocolo”, nunca “o método X é o melhor”.
5. Taxonomia formalizada: definições oficiais + estatísticas de comportamento
5.1 Base institucional (as “definições oficiais do governo”)
A taxonomia não é uma conveniência empírica — ela decorre da arquitetura legal da educação básica brasileira:
| Norma | O que estabelece | Consequência para as séries |
|---|---|---|
| CF/1988, art. 211 (§2º e §3º) | Municípios atuam prioritariamente no ensino fundamental e na educação infantil; Estados, no fundamental e médio. | A progressão 9º EF → 1º EM implica, com frequência, troca de rede (municipal → estadual) — e portanto de escola. |
| LDB (Lei 9.394/1996), arts. 10 e 11 | Reparte as incumbências de oferta entre estados e municípios. | Mesma consequência institucional acima, agora como dever de oferta. |
| LDB, art. 32 + Lei 11.274/2006 | Ensino fundamental de 9 anos. | Define a cadeia canônica de progressão que a série escalonada percorre. |
| Resolução CNE/CEB nº 7/2010 | Organiza o EF em anos iniciais (1º–5º) e anos finais (6º–9º), fases com docência e organização distintas. | Muitas escolas ofertam só anos iniciais ou só anos finais → a passagem 5º → 6º frequentemente cruza escolas, mesmo dentro da rede municipal. |
| LDB, art. 35 | Ensino médio como etapa final da educação básica. | Segunda fronteira institucional: 9º EF → 1º EM. |
Ou seja: as fronteiras 5º→6º EF e 9º EF→1º EM não são acidentes dos dados — são pontos onde a própria legislação induz a dispersão da coorte entre escolas e redes. O INEP divulga o Censo Escolar exatamente nesses agrupamentos (anos iniciais, anos finais, ensino médio), o que reforça a legitimidade institucional do recorte.
5.2 Estatísticas de comportamento que justificam a distinção
Oito indicadores, todos provenientes de blocos experimentais já executados — nenhuma medição nova foi necessária:
| # | Indicador (fonte) | Fronteira | Interna | Direção |
|---|---|---|---|---|
| 1 | Salto de MAE 5º→6º EF, último ano (Reunião Orientação, nacional) | 14,25 | 8,57 | ×1,66 a favor |
| 2 | Salto de MAE 9º EF→1º EM, último ano (idem) | 30,96 | 13,09 | ×2,36 a favor |
| 3 | Razão WAPE transição/interna, 4 baselines (idem) | 1,02 – 1,10 | modesta decompor | |
| 4 | Taxa de continuidade média — críticas vs. internas (Validação Transição, municípios) | 1,652 | 1,549 | afastada de 1 a favor |
| 5 | MAE da regressão origem→destino (idem) | 114,9 | 84,5 | +36% a favor |
| 6 | CV das taxas (idem) | 2,673 | 2,907 | menor nas críticas — séries de fronteira não são mais ruidosas; a relação origem→destino é que se rompe (mecanismo, não volatilidade) |
| 7 | GPR por transição em Maceió (Novos Experimentos, exp4) | 1,51 (5º→6º) • 1,31 (9º→1ºEM) | ≈1,0 | afluxo entre escolas a favor |
| 8 | Direção do erro da escalonada no 6º EF (Cap.05, §5.4) | subestima 842 mil vs. superestima 121 mil | assimetria prevista pelo afluxo a favor | |
E o indicador novo deste documento, o mais forte de todos: o oráculo por estrutura (Seção 3.2) — nas etapas de fronteira nem o melhor método possível salva a série escalonada; nas internas, nem o melhor método salva a retroativa. A distinção da taxonomia é, portanto, estrutural: nenhuma escolha de algoritmo a elimina.
Decomposição honesta: o salto de MAE nas receptoras = tamanho da unidade × penalidade relativa. Baseline último ano, nacional (Reunião Orientação). O MAE ×1,66 no 6º EF decompõe-se em matrícula média ×1,59 e WAPE ×1,05; o MAE ×2,36 no 1º EM, em tamanho ×2,13 e WAPE ×1,11. Leitura para o PNLD: as receptoras concentram o risco absoluto de compra; a penalidade preditiva relativa existe, mas é modesta. Recomenda-se reportar sempre as duas métricas em conjunto: a decomposição preserva o achado sob normalização por tamanho.
5.3 A definição formal proposta novo
Com base legal + estatística, a taxonomia pode ser enunciada assim no texto:
Transição crítica — par de etapas consecutivas (e → e′) da cadeia canônica de progressão em que a mudança de etapa implica, com frequência institucionalmente induzida (CF/88 art. 211; LDB arts. 10, 11, 32, 35; Res. CNE/CEB 7/2010), mudança de unidade escolar ou de rede de ensino. Conjunto identificado empiricamente: T* = {5º→6º EF, 9º EF→1º EM}. A transição Pré→1º EF, candidata institucional, foi excluída pelos dados (taxa de continuidade ≈ 1,05, sem penalidade de erro) — a taxonomia é validada, não assumida.
Série interna — série temporal (escola, etapa-alvo, estrutura) cuja cadeia de progressão, dentro do horizonte relevante h (aqui h = 2, protocolo T−2), não cruza nenhuma transição de T*.
Série de fronteira — série cuja cadeia cruza alguma transição de T* a distância d ≤ h da etapa-alvo. Com d = 1, a etapa-alvo é receptora direta (6º EF, 1º EM); com d = 2, é contaminada (7º EF, 2º EM): sua série escalonada usa como pontos mais recentes exatamente os valores atravessados pela ruptura.
Por que o parâmetro d importa — e é confirmado pelos dados: a escalonada perde para a retroativa exatamente no 6º e no 7º EF (12,25 vs. 9,74 no 7º), e volta a vencer no 8º e no 9º (neste, por margem estreita). O efeito da fronteira não é da etapa receptora apenas — é da cadeia que a atravessa, com alcance igual ao horizonte de predição. A taxonomia com d ≤ 2 explica os quatro casos sem parâmetro livre. E gera uma predição falseável: quando a escalonada do EM for reconstruída (encadeando a partir do EF), o 2º EM deve se comportar como série contaminada, e o 3º EM como interna. Isso pode entrar no texto como hipótese derivada — contribuição alinhada ao requisito de novidade registrado pela banca de qualificação.
6. Nova estrutura proposta para os dados
A reunião pediu a taxonomia formalizada; o parecer pediu o DataFrame consolidado e o protocolo único. As três coisas se encaixam numa estrutura em três camadas, que substitui a dispersão atual (4 blocos com formatos e métricas próprios) por um desenho único e auditável:
6.1 Camada 1 — Tabela de predições consolidada (fatos)
Uma linha por (série × método × ano-alvo). Consolida os EXEC, os blocos novos e qualquer experimento futuro. É o insumo direto de todas as tabelas e figuras da dissertação.
| Coluna | Conteúdo | Origem |
|---|---|---|
co_entidade, etapa_alvo, ano_alvo | Identificação da unidade experimental | já existe (EXEC) |
tipo_serie | retroativa | escalonada | já existe (sufixos _padrao/_r_escolar → vira coluna) |
classe_serie nova | interna | fronteira | taxonomia (Seção 5.3) |
transicao_associada, dist_transicao novas | qual transição de T* a cadeia cruza; distância d (1 = receptora, 2 = contaminada) | taxonomia |
metodo | média | último ano | reg. linear | suav. exp. | Kalman | proposto | ensemble… | formato longo (um método por linha) |
y_real, y_pred, erro, erro_abs | Valores e erros | já existe |
n_valores, tamanho_serie | Disponibilidade de histórico | já existe |
sucesso, motivo_falha, tempo_exec | Auditoria de execução | já existe |
tp_dependencia, co_uf, flag_publica novas | Rede e recorte — resolve o E1b de forma permanente (filtrar vira um where, não uma reexecução) | join com cadastro (registrar snapshot como ameaça à validade) |
6.2 Camada 2 — Dicionário de séries (dimensão)
Uma linha por série (escola × etapa-alvo × estrutura), com os atributos que não variam por método: cadeia de etapas percorrida, classe_serie, cruza_transicao, comprimento do histórico, lacunas/zeros, localização, dependência. É aqui que vive a caracterização de estabilidade do E2 (por que “último valor” é difícil de superar): estabilidade ano-a-ano por série, segmentada por classe_serie — a hipótese a testar é que a estabilidade é alta nas internas e colapsa nas fronteiras, conectando a exigência da banca à taxonomia.
6.3 Camada 3 — Protocolo estatístico único (regras de leitura)
| Passo | Instrumento | Papel |
|---|---|---|
| 0 | Análise descritiva prévia (por classe_serie) | Exigência da banca; onde vive a investigação do baseline forte |
| 1 | MAE + WAPE lado a lado, sempre | MAE = risco absoluto (compra); WAPE = dificuldade relativa (comparável entre etapas) |
| 2 | Friedman + Iman–Davenport (blocos etapa×ano) | Teste global de equivalência (Seção 4) |
| 3 | Nemenyi + diagrama de diferença crítica | Visão geral de grupos indistinguíveis |
| 4 | Wilcoxon pareado por série + Holm + rank-biserial | Confirmação dos pares de interesse (retroativa vs. escalonada; proposto vs. campeão) |
Com as camadas 1–2 montadas, todos os resultados da dissertação (globais, por etapa, por classe, por rede, por ano-alvo) viram consultas sobre a mesma base — o que resolve simultaneamente a reprodutibilidade (exigência da qualificação), o protocolo único (parecer, Seção 9) e o E1b (filtro de rede vira uma cláusula, não um reprocessamento).
7. Ressalvas e próximos passos
Encaixe no plano do parecer (nada muda de prazo): este documento adianta parte do E3 (Friedman–Nemenyi executado) e entrega o desenho das camadas do DataFrame único. Sequência recomendada das próximas duas semanas: E1b (refiltragem só-públicas) → montar Camadas 1–2 → reexecutar este protocolo sobre a base filtrada (os scripts já existem) → E2 (estabilidade) e E5 (fração de oferta consecutiva). Congelamento de experimentos em 31/08 mantido.
Decisões propostas para ratificação: (i) ratificar o proposto como “meta-seleção por regra de domínio” — é a novidade candidata; (ii) ratificar blocos etapa×ano como desenho do Friedman; (iii) decidir se o E6 (ensemble simples) entra como comparação adicional; (iv) confirmar que FFORMA/meta-aprendizado pleno vai para trabalhos futuros.