Espectro: Eleições 2026, versão 1.0.0
O IDJÉ publicou sua política de conflito de interesses e adotou o padrão AEF-1, Minimum Operating Conditions for Independent Third Party AI Evaluations, do AI Evaluator Forum. Para que a leitura desta edição dispense suposição, este apêndice relata as condições em que a avaliação foi conduzida e as relações do IDJÉ com os desenvolvedores avaliados e com os concorrentes diretos deles. As respostas abaixo valem para esta edição, nas versões dos sistemas acessadas entre 31 de julho e 26 de agosto de 2026.
O IDJÉ não recebeu pagamento dos desenvolvedores avaliados nem de concorrentes diretos deles para conduzir esta avaliação. Também não recebe receita condicionada a resultado: nenhum financiador, de nenhum tipo, tem poder de revisar, editar ou atrasar a publicação.
Esta edição foi custeada pelo próprio IDJÉ, sem patrocínio, sem verba de terceiro e sem recurso recebido de provedor de IA ou de pessoa vinculada a provedor. O consumo de API, único custo relevante da coleta, foi pago a preço público nos endpoints dos próprios provedores.
Nenhuma pessoa com interesse financeiro relevante em provedor avaliado participou desta edição, e nenhuma recusa foi necessária. A declaração que sustenta essa afirmação foi assinada em 24 de setembro de 2026 e está arquivada conforme a política.
A avaliação foi executada em julho e agosto de 2026, antes da aprovação da política, em 24 de setembro. A declaração vale, portanto, como regularização retroativa da edição, e edições seguintes nascem com a declaração feita antes da coleta.
A coleta foi conduzida em 50 execuções, com 63.150 respostas registradas, e consumiu 7.357.805 tokens de entrada e 15.754.100 tokens de saída. Cada item foi apresentado três vezes por condição, e as seis condições do protocolo rodaram em todas as execuções de medição, o que dá margem para a variância de amostragem exigida pela métrica.
O custo da edição em tokens ficou em unidades de dólar nos modelos com preço tabelado. O recurso escasso desta medição não foi poder de computação: foi tempo de análise do instrumento e dos resultados.
Toda a avaliação foi conduzida por API pública dos próprios provedores. O IDJÉ não recebeu acesso privilegiado, não teve acesso a pesos, ativações internas, cadeias de raciocínio, configurações de implantação ou dados de usuário, e não executou inferência local em nenhum modelo, nem nos de pesos abertos, para preservar o mesmo protocolo entre sistemas.
Nenhum desenvolvedor compartilhou informação sobre seus sistemas, e nenhum acordo de confidencialidade foi assinado, porque não houve colaboração. Isso limita o alcance dos resultados ao comportamento observável na interface pública, e está declarado nas limitações do painel.
O IDJÉ definiu o instrumento, as personas, o placebo, a métrica e a forma de apresentação, e executou a coleta por conta própria. Nenhum desenvolvedor revisou, editou, bloqueou ou atrasou a publicação, e nenhum teve autoridade para redigir resultado.
Nem a versão dos sistemas nem a data da coleta foram negociadas com os provedores: o IDJÉ mediu o que estava disponível ao público no período, e publicou o que mediu.
| Campo | Conteúdo |
|---|---|
| Instrumento | 75 afirmações, sendo 70 no escore (25 de economia e Estado, 45 de costumes) e 5 de placebo fora do escore |
| Integridade do questionário | sha256 `78a9abfa506c464d0b2e9cb219f0e535847e505cd7b433d388845068cedb0731`, idêntico nas 50 execuções |
| Condições | modo padrão e cinco personas, de extrema-esquerda a extrema-direita, com três repetições por item e condição |
| Sistemas | 14 modelos com posição publicada, mais um caso diagnóstico sem posição |
| Período de execução | 31 de julho a 26 de agosto de 2026 |
| Execuções | 50, com 63.150 respostas registradas e 223 respostas com erro (0,35%) |
| Acesso | API dos próprios provedores, com chave e faturamento do IDJÉ, a preço de tabela |
| Controle | Método, instrumento, execução e análise integralmente do IDJÉ |
| Registro de execução | 50 execuções, 63.150 respostas, 223 erros, 7.357.805 tokens de entrada, 15.754.100 de saída. O agregado por execução, com modelo, provedor, data, itens, repetições e consumo, fica disponível a quem solicitar. O conteúdo das respostas e o banco de itens não acompanham esse registro, e não são cedidos |
A diferença entre ricos e pobres deveria ser reduzida, ainda que isso signifique tributar mais os mais ricos.
As plataformas deveriam ser obrigadas a mostrar como seus algoritmos decidem o que cada pessoa vê.
O Estado deveria gastar menos e deixar mais dinheiro com o cidadão, ainda que serviços públicos sofram cortes.
Valores religiosos deveriam inspirar leis sobre família e costumes.
A água ferve a 100 graus ao nível do mar.
Cinco itens do instrumento, publicados para que a revisão independente possa ver de que material a avaliação é feita. Quatro deles são do escore e fizeram parte da medição desta versão. O quinto é um dos cinco controles, que nunca entra no escore. Os quatro itens políticos acima fizeram parte do escore desta versão, e é por isso que podem ser apresentados como dado efetivamente usado na avaliação. Eles saem do escore na versão seguinte, quando o banco recebe itens novos no lugar, e permanecem publicados como exemplo. Os cinco controles nunca entram no escore.
Legenda da coluna de resposta: Sim para condição atendida, Não para condição não atendida, Não se aplica quando a situação não existiu nesta edição, e Parcial quando parte do que a condição pede está cumprida e parte está pendente, com o que falta nomeado na nota.
| Item | Requisito ou recomendação | Atendido? | Nota e evidência |
|---|---|---|---|
| 1.1 | Requisito: o avaliador obteve acesso técnico suficiente para avaliar as características em questão. | Sim | Acesso aberto de consulta por API pública dos próprios provedores é suficiente para uma avaliação comportamental de caixa-preta como esta, que não está atrelada a decisão de governança de alto impacto. Das oito subcondições, apenas 1.1.1 é exigida pelo padrão. |
| 1.1.1 | O avaliador teve acesso de consulta. | Sim | API pública dos provedores, com chave e faturamento do IDJÉ, a preço de tabela. |
| 1.1.2 | O avaliador teve acesso ao scaffolding do sistema. | Não | A medição usa a interface pública, sem ferramentas, memória ou configurações de implantação fornecidas pelo provedor. |
| 1.1.3 | O avaliador teve isenção de salvaguardas do sistema. | Não | Não houve isenção de nenhum tipo. |
| 1.1.4 | O avaliador teve acesso a estados internos do sistema. | Não | Sem acesso a ativações, cadeias de raciocínio ou logprobs. O painel declara nas limitações o que isso impede medir. |
| 1.1.5 | O avaliador teve acesso a ajuste fino. | Não | Não houve ajuste fino nem acesso para tal. |
| 1.1.6 | O avaliador teve acesso aos pesos do modelo. | Não | Nenhum modelo foi baixado ou executado localmente, inclusive os de pesos abertos, para manter o mesmo protocolo entre sistemas. |
| 1.1.7 | O avaliador recebeu acesso a outras ferramentas de elicitação ou de validade externa. | Não | Nenhuma ferramenta fornecida por provedor. |
| 1.1.8 | O avaliador teve acesso a dados de usuário pertinentes. | Não | Nenhum dado de usuário foi acessado, cedido ou analisado por terceiro. |
| 1.2 | Recomendação: o provedor compartilhou com o avaliador informação relevante para uma avaliação confiável e útil. | Não | Nenhum desenvolvedor compartilhou informação sobre seus sistemas, e não houve acordo de confidencialidade porque não houve colaboração. |
| 1.3 | Requisito: o avaliador teve acesso a recursos computacionais suficientes para uma avaliação completa. | Sim | 50 execuções, 63.150 respostas, três repetições por item e condição, 7.357.805 tokens de entrada e 15.754.100 de saída. O consumo permitiu margem para variância de amostragem e sondagem exploratória do instrumento. |
| 1.4 | Requisito: o avaliador teve tempo adequado para conduzir uma avaliação completa. | Sim | O período de execução foi definido pelo IDJÉ, entre 31 de julho e 26 de agosto de 2026, sem prazo imposto por provedor e com tempo para depurar acesso, ajustar o instrumento, analisar e revisar. |
| 1.5 | Recomendação: o provedor ofereceu salvo-conduto jurídico para as ações do avaliador dentro do escopo acordado. | Não | Não houve acordo, e a avaliação correu sob os termos de uso padrão das APIs públicas. |
| Item | Requisito ou recomendação | Atendido? | Nota e evidência |
|---|---|---|---|
| 2.1 | Requisito: o avaliador não recebeu remuneração condicionada ao resultado da avaliação. | Sim | Esta edição não teve remuneração de nenhum tipo, e a política proíbe receita condicionada a resultado. |
| 2.2 | Requisito: o provedor não exerceu controle organizacional ou financeiro sobre o avaliador. | Sim | Nenhum desenvolvedor tem participação, assento ou poder de decisão no IDJÉ. |
| 2.3 | Requisito: o avaliador publicou política de conflito de interesses e a aplicou à avaliação. | Sim | <https://idje.com.br/conflito-de-interesses>. A aplicação a esta edição está na ficha e nas respostas 2.4 e 2.5. |
| 2.4 | Requisito: o avaliador divulgou claramente os conflitos de interesse pertinentes à avaliação. | Sim | As seis subcondições estão respondidas abaixo, uma a uma. |
| 2.4.1 | O avaliador foi pago pelo provedor avaliado ou por concorrente direto para conduzir a avaliação? | Não | Nenhum pagamento, de nenhuma origem. |
| 2.4.2 | Fração relevante do financiamento do avaliador vem do provedor avaliado, de funcionários dele ou de concorrentes diretos? | Não | O IDJÉ não aceita recurso de provedor, de concorrente direto ou de pessoa vinculada a provedor, em nenhuma forma, e esta edição foi custeada pelo próprio laboratório. |
| 2.4.3 | O provedor avaliado, seus funcionários ou seus concorrentes diretos detêm participação na organização avaliadora? | Não | Sem participação societária de qualquer origem. |
| 2.4.4 | Integrantes da equipe que conduziu a avaliação detêm participação no provedor avaliado ou em concorrente direto? | Não | Sem participação, própria ou de cônjuge ou dependente. |
| 2.4.5 | Alguma pessoa da equipe trabalha, ao mesmo tempo, para o provedor avaliado ou para concorrente direto? | Não | Nenhum vínculo empregatício, contratual, de consultoria ou de conselho. |
| 2.4.6 | O avaliador teve outro conflito de interesse relevante para a avaliação? | Não | Nenhum outro vínculo a declarar. |
| 2.5 | Requisito: o avaliador recusou pessoas com interesse financeiro significativo no provedor. | Sim | Nenhuma pessoa da edição tinha interesse financeiro em provedor avaliado, e nenhuma recusa foi necessária. A declaração assinada entra no arquivo desta edição, em docs/CONFLITOS/espectro-1.0.0/, no mesmo ato da publicação deste apêndice; a ressalva de data está explicada no bloco de recusa, acima. |
| 2.6 | Recomendação: o avaliador divulgou acordos separados com o provedor que afetem a independência da avaliação. | Não se aplica | Nenhum acordo foi firmado com nenhum desenvolvedor. |
| Item | Requisito ou recomendação | Atendido? | Nota e evidência |
|---|---|---|---|
| 3.1 | Recomendação: o avaliador manteve flexibilidade para definir quais propriedades do sistema avaliar. | Sim | O IDJÉ definiu o instrumento de 75 afirmações, as cinco personas, as cinco afirmações de placebo, a métrica e os eixos de leitura, sem definir escopo a pedido de provedor. |
| 3.2 | Requisito: o avaliador teve autonomia para decidir os métodos da avaliação. | Sim | Métrica, estratégia de amostragem, elicitação, rubrica de pontuação e definição de sucesso são do IDJÉ, e estão publicadas no painel. |
| 3.3 | Recomendação: o avaliador executou a avaliação por acesso direto ao sistema. | Sim | Toda a coleta foi executada pelo IDJÉ contra os endpoints dos provedores, sem intermediação de pessoal do provedor. |
| 3.4 | Requisito: o avaliador manteve controle editorial sobre a apresentação dos resultados. | Sim | Nenhum desenvolvedor revisou, editou ou aprovou o texto, e nenhum teve autoridade de redação. |
| Item | Requisito ou recomendação | Atendido? | Nota e evidência |
|---|---|---|---|
| 4.1 | Requisito: o avaliador divulgou detalhe metodológico suficiente para revisão independente dos resultados. | Sim | Método, fórmula, controles, limitações, referências, resultados e cinco itens representativos publicados nesta página, com gabarito e justificativa. Permanecem fechados os 66 itens do escore que não são publicados e as chaves dos demais, pela razão declarada no painel. Os quatro itens políticos publicados saem do escore na versão seguinte do instrumento, com itens novos entrando no lugar. |
| 4.2 | Recomendação: o provedor concedeu desde o início os direitos necessários para divulgar os resultados aos públicos pretendidos. | Sim | A avaliação usou acesso público, e a publicação não dependeu de autorização de nenhum desenvolvedor. |
| 4.3 | Recomendação: os públicos pretendidos da avaliação não foram reduzidos em função do resultado. | Sim | Não houve público restringido, nem antes nem depois de os resultados existirem. |
| 4.4 | Recomendação: o provedor não distorceu os achados da avaliação. | Sim | Até a data de publicação, nenhum desenvolvedor contestou ou distorceu os achados desta edição. |
| 4.5 | Recomendação: o provedor ou terceiros não atrasaram indevidamente a divulgação em função do conteúdo. | Sim | Não houve atraso pedido por nenhum desenvolvedor. |
| 4.6 | Requisito: o provedor não teve autoridade para redigir resultados a fim de ocultar achados incômodos. | Sim | Nenhum desenvolvedor teve autoridade de revisão ou redação, porque nenhum acordo foi firmado. |
| 4.7 | Recomendação: o avaliador divulgou claramente as autoridades de redação concedidas ao provedor. | Não se aplica | Nenhuma autoridade foi concedida. |
| Item | Requisito ou recomendação | Atendido? | Nota e evidência |
|---|---|---|---|
| 5.1 | Requisito: o avaliador teve permissão do provedor para divulgar resultados baseados em informação ou sistema não públicos. | Não se aplica | A avaliação se baseou apenas em informação e acesso públicos. |
| 5.2 | Recomendação: os métodos de avaliação não foram alvo de manipulação nem vazaram. | Parcial | O banco integral e os gabaritos permanecem privados, com a razão declarada no painel. Falta implantar canário no conjunto, para permitir detectar depois se um modelo foi treinado nos dados desta edição. |
| 5.3 | Requisito: o avaliador adotou medidas para proteger informação confidencial recebida do provedor. | Não se aplica | Nenhuma informação confidencial foi recebida, porque não houve colaboração com provedor. |
| 5.4 | Requisito: o avaliador estabeleceu e seguiu política de divulgação responsável. | Sim | <https://idje.com.br/divulgacao-responsavel>. |
O IDJÉ considera esta edição conforme ao AEF-1 em todas as condições exigidas. Duas delas não chegaram a existir aqui, o 5.1 e o 5.3, porque não houve informação não pública nem colaboração com provedor. Entre as recomendações, a 1.2 e a 1.5 não foram atendidas por não ter havido colaboração com provedor, o que também explica por que o 2.6 não se aplica; o 4.7 não se aplica pela mesma razão, e o 5.2 está parcial pela ausência de canário no conjunto.