Um aluno não corrige a própria prova

Um aluno não corrige a própria prova e uma big tech não pode auditar seus próprios modelos. Dito isso, no dia 4 de setembro de 2026, a Artificial Analysis publicou a versão 4.2 de seu Intelligence Index, que mede características diversas de LLMs. A publicação foi meio silenciosa, pois toca um tema que o campo acadêmico não gosta: a impossibilidade de reprodução. O anúncio deles cabe numa linha: tarefas mais próximas do uso real e mais test sets privados para impedir gaming. Apenas 3 dias depois, em 7 de setembro de 2026, eles correram e lançaram a versão 4.3.

Na v4.2, os conjuntos de testes fechados passaram a representar 40% do índice. Três dias depois, a v4.3 elevou essa participação a 45%, mais que o dobro da v4.1. A promessa é aumentá-la ainda mais na v5. Isso nos deixou super orgulhosos aqui no IDJÉ porque nascemos assim, defendendo os testes privados. “Mas vocês são anti-ciência?” Não, né! A gente é antimalandragem. Por isso já nascemos nos perguntando: se o “termômetro” que mede essas promessas dos modelos de IA está quebrado, como confiar nas futuras promessas de alinhamento?

O que mudou no AA

A novidade de maior peso é o AA-Briefcase, com 15% do índice Artificial Analysis. São 91 tarefas distribuídas em quatro cenários que simulam projetos de trabalho. A segunda adição é o GDP.pdf, construído pela Surge AI: 100 tarefas de raciocínio documental sobre 4.592 páginas, avaliadas contra 1.275 critérios.

Numa outra ponta, saiu o GPQA Diamond em função da saturação. E esse ponto é o mais importante, porque é óbvio que um benchmark de raciocínio científico que já não consegue medir não faz mais sentido. A remoção de benchmarks públicos do índice AA segue o roteiro conhecido de outros testes, como MMLU, MATH e GSM8K. É triste, porque, sob a lógica do benchmaxxing e outras estratégias desleais, um benchmark público tem um ciclo de vida previsível e representa um esforço quase jogado no lixo. Mede-se 1 ou 2 vezes e depois já era. O roteiro é conhecido: publica-se o teste, artigo no arXiv com os achados, os itens vão para corpora de pré-treino e fine-tuning. Lança a nova versão de um modelo, os scores inflam sem que a capacidade seja verificável. O alerta vermelho acende e sabe-se, então, que o instrumento passou apenas a treinar e não mais a medir. Vai pro lixo.

Publicar um conjunto de avaliação equivale a doar dado anotado de graça para as big techs, com toda computação à disposição para absorvê-lo. A máxima aqui é: quem define a métrica define o problema, e o problema encolhe quando passa a caber no instrumento de quem mede. Manter o test set fechado quebra essa lógica danosa. O modelo avaliado encontra itens que nunca “viu” e a nota volta a tratar de capacidade em vez de informar sobre memorização.

Um caso recente mostra que não basta proteger os itens: é preciso também controlar o ambiente de avaliação. No ARC-AGI-3, o mesmo GPT-6 Astra obteve 62,7% no harness padronizado do ARC Prize, que é uma avaliação respeitada, e 99,9% no adaptador da própria OpenAI. Para comparar modelos, interessa a condição comum, controlada por um avaliador independente. Esse é o objetivo original de um benchmark: medir o modelo, não todos os superpoderes do aparato construído ao seu redor.

O IDJÉ ou a Artificial Analysis não criaram esse movimento de preservação dos datasets. Por exemplo, o Humanity’s Last Exam, organizado pela Scale AI com o Center for AI Safety, nasceu com cerca de 2.500 questões públicas e um subconjunto reservado com função de detecção: a discrepância sistemática entre o desempenho da parte pública e da parte privada é quem denuncia a “decoreba”. Desde a sua origem, uma parte das questões fica escondida exatamente para flagrar o uso para treinamento.

Por que o IDJÉ acerta

O padrão que se consolida no mercado tem duas camadas. Sendo uma a metodologia aberta, e a outra composta por pesos, prompts de agente e de correção, harness, taxonomia de rubricas e itens de pontuação fechados, fechados sob guarda do avaliador. O campo de avaliações não pode mais continuar fazendo o seu trabalho de anotação local e deixando essa inteligência ser sendo exportada em troca de uma publicação e mais um registro no Lattes. É isso que as big techs mais querem: continuar raspando a inteligência do mundo.

Há um segundo argumento de validade, digamos, ecológico. Nossos itens locais carregam marcas de contexto, referências normativas, muitas práticas peculiares e, claro, variados usos linguísticos, que funcionam como teste justamente por serem situados. Quando expostas, essas marcas únicas viram o próximo padrão a ser ajustado. O teste deixa de capturar pequenas familiaridades com o contexto e passa a capturar a exposição ao próprio teste. Vale sempre lembrar: a mesma capacidade que torna um modelo melhor em algo, também o torna bom em escapar do teste.

Existe outra crítica ao test set privado: a da concentração de poder no avaliador. Quem guarda a prova define pesos, escolhe os modelos-juízes (quando necessários) e ancora as escalas. E aqui não tem jeito. A confiança nos números pressupõe confiança no guardião. Recebe financiamento de uma big tech ou de um instituto de fachada que serve para captura? Declara em exemplos do conjunto fechado que ele preserva a situacionalidade que lhe dá o devido sentido e rigor?

O IDJÉ trabalha reforçando a perspectiva já praticada por outros laboratórios independentes: um benchmark aberto é “trabalho escolar” com validade curtíssima porque vira alvo e, virando alvo, vira treino. No caso específico da Artificial Analysis, dobrar o peso privado, aposentar testes saturados e publicar só o método com uma pequena amostra é um sinal forte desse caminho. Pra nós, um pequeno laboratório brasileiro que mantém 100% dos seus datasets fechados não significa estar em dívida, mas estar muito adiantado em relação ao movimento que uma das maiores referências no campo acabou de validar.

Referências

ARTIFICIAL ANALYSIS. Announcing Artificial Analysis Intelligence Index v4.2. 4 set. 2026. Disponível em: https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v4-2.

ARTIFICIAL ANALYSIS. Artificial Analysis Intelligence Benchmarking Methodology. Disponível em: https://artificialanalysis.ai/methodology/intelligence-benchmarking.

ARC PRIZE. OpenAI's GPT-6 Astra on ARC-AGI-3. 3 set. 2026. Disponível em: https://arcprize.org/blog/astra.

SCALE AI; CENTER FOR AI SAFETY. Submit Your Toughest Questions for Humanity’s Last Exam. Scale Blog, 16 set. 2024. Disponível em: https://scale.com/blog/humanitys-last-exam.

PHAN, L. et al. Humanity’s Last Exam. arXiv:2501.14249, 2025. Disponível em: https://arxiv.org/abs/2501.14249.

DEEPLEARNING.AI. The Problem with Benchmark Contamination in AI. The Batch. Disponível em: https://www.deeplearning.ai/the-batch/the-problem-with-benchmark-contamination-in-ai.