Avaliação de modelos de decisão: 97% não bastam em 2026

A avaliação de modelos de decisão começa com uma diferença de denominador. No lançamento do Decision Index v2, da Artificial Analysis, em 8 de novembro de 2026, a avaliação AA-Paperclip, com 30% do índice, mostrou um modelo que acertou 97% das respostas individuais e apenas 63% dos documentos. O primeiro número não é a taxa de aprovação do segundo.
Essa distinção muda uma compra. Para comparar candidatos, a equipe examina acerto, confiança e consistência, depois mede o custo por tarefa aceita na própria operação. Uma classificação correta pode vir acompanhada de extração errada ou ação que exige revisão. O benchmark seleciona candidatos; o teste próprio verifica o aceite integral.
Quadro de decisão: fatos-chave
- O exemplo de 97% e 63% usa respostas individuais e documentos como unidades diferentes.
- O Decision Score considera correção e confiança; consistência responde a outra pergunta.
- Custo médio por tarefa do índice não é custo por tarefa aceita na operação.
- Escolha final exige casos próprios, registro das tentativas e definição prévia de aceite.
Quais são os principais achados?
O Decision Index v2 combina seis avaliações em uma média ponderada e compara diferentes famílias de modelos. A pontuação final agrega acerto, confiança e estabilidade; separar essas três coisas é trabalho de leitura, não uma propriedade do índice. E o resultado agregado não comprova que um agente conclui uma operação real. A leitura começa pela unidade de cada medida.
- No AA-Paperclip, o exemplo de um modelo combina 97% de respostas individuais corretas e 63% de documentos com todas as respostas corretas. Cada documento exige cinco decisões e dez extrações.
- Na v2, 45% do índice vem de conjuntos privados, ante 25% na versão anterior: são as duas avaliações privadas, que pesam 30% e 15%. A fonte adota dados privados para se aproximar da utilidade real e dificultar a otimização para o teste; o custo dessa escolha é a reprodução independente mais limitada.
- O Decision Score considera correção e confiança; o AA-Symmetry examina a estabilidade diante de formulações equivalentes. Um resultado não substitui o outro.
- O índice estima custo por tarefa a partir dos preços de tokens. Essa conta não inclui, por definição, o aceite da tarefa no processo de uma empresa.
A conclusão prática não é abandonar o índice. É impedir que uma pontuação carregue uma decisão para a qual não foi construída, como escolher um agente para uma tarefa que exige permissões, execução de ferramentas e aceite conforme as regras da empresa. Uma equipe que mede apenas acerto por resposta sabe pouco sobre o trabalho que chega ao fim sem correção.
Como os dados foram coletados?
A Artificial Analysis publicou o recorte da v2 em 8 de novembro de 2026, reunindo provas de decisão, extração e escolha entre ações possíveis. O AA-Paperclip contém 1.500 documentos, com 15 respostas exigidas por documento. A própria avaliadora realizou as medições; não se trata de um estudo original da Nexforce.
| Elemento | Recorte publicado | Limite para interpretação |
|---|---|---|
| AA-Paperclip | 1.500 documentos; cinco decisões e dez extrações por documento | Documento aprovado apenas quando as 15 respostas estão corretas |
| Conjuntos privados no índice | 45% na v2, contra 25% na versão anterior | A parcela privada limita a inspeção independente dos casos |
| Decision Score | Considera correção e confiança atribuída | Não mede sozinho o sucesso de um fluxo completo |
| AA-Symmetry | Observa estabilidade em formulações equivalentes | Respostas estáveis podem estar erradas ou declarar desconhecimento |
A descrição do AA-Paperclip informa que documentos e gabaritos são privados. Isso importa para quem pretende reproduzir o resultado: é possível compreender a unidade de avaliação divulgada sem ter acesso ao conjunto completo para refazer a prova. Privacidade do teste não torna o resultado inútil; torna a validação independente mais limitada. O recorte publicado fixa os números da prova: 1.500 documentos, cada um com cinco decisões e dez extrações, 15 respostas exigidas por documento, e um documento só entra como aprovado quando as 15 respostas estão corretas. A versão também importa. O artigo datado apresenta a v2, enquanto o histórico da metodologia já registra a v2.1 e uma mudança no AA-Symmetry. Um resultado histórico precisa viajar com a versão e a data. Trocar o método no meio da comparação e manter a mesma legenda produz uma série que parece contínua sem necessariamente ser comparável.
Por que 97% de respostas corretas não significam 97% de documentos aprovados?
No exemplo publicado para o AA-Paperclip, 97% é a proporção de respostas individuais corretas; 63% é a proporção de documentos que passaram no critério integral. A segunda medida exige que as cinco decisões e as dez extrações de um mesmo documento estejam certas. Os números descrevem o mesmo teste, mas não a mesma unidade.
| Medida do exemplo | Unidade | Resultado publicado | Critério |
|---|---|---|---|
| Acerto individual | Resposta | 97% | Cada resposta é avaliada separadamente |
| Acerto integral | Documento | 63% | As 15 respostas do documento precisam estar corretas |
Uma extração incorreta reprova o documento. Ele pode acumular várias respostas certas e ainda falhar no critério integral. A média individual não indica quantos documentos passam sem correção, mas a decomposição publicada mostra onde o critério quebra: no mesmo modelo, as cinco decisões saíram corretas em 71% dos documentos e as dez extrações em 88%. O erro que derruba o documento está mais na decisão do que na extração, e o exemplo não traz taxa de erro por campo individual. Na operação própria, o aceite pode exigir informações corretas, ação permitida e registro para revisão. O teste deve distinguir resposta errada, intervenção e tarefa aceita. Concluir a execução não basta: uma tarefa concluída só é aceita se também atender ao critério de aceite definido para o processo. O resultado do AA-Paperclip não prevê a taxa de aceite de outro processo.
Confiança e consistência medem a mesma coisa?
Não. O Decision Score descrito pela Artificial Analysis considera correção junto à confiança atribuída à resposta. Já o AA-Symmetry examina se a decisão se mantém quando a formulação é equivalente. Uma resposta confiante pode estar errada, e uma resposta consistente pode repetir o mesmo erro ou o mesmo desconhecimento.
| Medida | Pergunta respondida | O que não demonstra sozinha |
|---|---|---|
| Correção | A resposta corresponde ao gabarito da avaliação? | Que a confiança declarada acompanha o acerto |
| Calibração | A confiança atribuída acompanha a frequência observada de acerto? | Que decisões equivalentes se mantêm entre formulações |
| Consistência | A decisão se mantém em formulações equivalentes? | Que a decisão é correta ou útil |
Confiança não é garantia. Quando um modelo declara alta confiança em respostas erradas, a equipe precisa identificar esses casos. Na avaliação interna, vale guardar a confiança junto ao resultado e comparar faixas com os acertos observados. Sem gabarito ou revisão confiável, a própria calibração fica sem base. A consistência tem outra função. Uma equipe pode reapresentar casos equivalentes e verificar se a classificação ou a decisão muda, mantendo registro da versão do modelo, das instruções e das condições do teste. Também pode repetir execuções do mesmo caso para observar variação entre rodadas. Esses testes internos são complementares ao AA-Symmetry; não devem ser apresentados como se fossem a mesma medição publicada. O artigo de lançamento observa que um modelo pode ser consistente ao declarar desconhecimento de modo estável. Isso pode ser uma resposta apropriada quando faltam dados, mas não prova que a tarefa foi resolvida. A avaliação precisa registrar quando a abstenção evita uma ação indevida e quando impede a conclusão de um caso que tinha informação suficiente.
O que o benchmark não prova sobre um agente em produção?
O índice testa capacidades em avaliações selecionadas e executadas pela Artificial Analysis, não a execução completa de um agente conectado aos sistemas da empresa. Escolher a resposta certa sobre uma ferramenta é diferente de executá-la com a permissão correta, lidar com uma falha e entregar um resultado que a operação aceite.
| Prova ou situação | O que é observado | O que permanece fora daquela prova |
|---|---|---|
| When2Call | Escolha entre respostas candidatas, incluindo chamar ferramenta ou pedir informação | Execução real da ferramenta e efeito no sistema da empresa |
| AA-Paperclip | Decisões e extrações avaliadas por resposta e por documento | Aprovação de uma tarefa comercial real após execução e revisão |
| Teste próprio do fluxo | Resultado diante dos critérios e permissões definidos pela equipe | Generalização automática para outros processos ou cargas |
A página do When2Call descreve a avaliação como uma escolha entre respostas candidatas: responder, chamar uma ferramenta, pedir informação ou reconhecer que não há resposta disponível. Isso mede uma decisão relevante. Não mostra, por si só, que a chamada ocorreu, que o acesso era autorizado ou que o sistema de destino aceitou a operação. A diferença aparece no rastro. Para cada tarefa, a equipe precisa conseguir inspecionar a decisão tomada, os dados disponíveis, as tentativas de execução e o motivo de uma eventual intervenção. Uma resposta final correta pode esconder uma tentativa anterior inadequada; uma resposta final incompleta pode ser a consequência visível de uma permissão corretamente negada. O artigo sobre avaliação de agentes além da resposta final detalha por que percurso e permissões merecem medição própria. Essa observação não desqualifica uma prova de modelo. Ela define seu alcance. A avaliação externa ajuda a montar uma lista de candidatos; o fluxo real decide se algum deles atende às regras de execução e de aceite da empresa.
Como medir custo por tarefa aceita?
A medida proposta para a operação divide o custo total das execuções avaliadas pelo número de tarefas aceitas no mesmo conjunto. O numerador precisa incluir falhas e novas tentativas, além de declarar os componentes considerados. Critério de aceite e casos são definidos antes e mantidos iguais entre candidatos; o número de tarefas aceitas pode variar. Contingência também entra, quando consumida.
O custo por tarefa aceita = custo total das execuções avaliadas / número de tarefas aceitas é uma proposta de medição, não um resultado do Decision Index. O lançamento apresenta estimativas por um milhão de tarefas, e a página do índice define o custo médio por tarefa como uma medida ponderada entre avaliações, calculada a preços de tokens. A forma de cobrança e a repetição da entrada afetam a comparação. O custo publicado não deve ser dividido pela taxa de sucesso de outro teste para produzir um suposto custo por tarefa aceita. A distinção entre preço do token e custo por tarefa ajuda a manter as medidas separadas. Na operação, o primeiro passo é declarar o perímetro da conta. Inferência, novas tentativas e recursos de contingência devem entrar quando consumidos; revisão humana pode entrar quando seu custo for medido. Se um componente não estiver disponível, a comparação deve identificá-lo como ausente, em vez de tratá-lo como zero. O registro do custo por tentativa ajuda a estruturar essa evidência.
O segundo passo é separar aceite autônomo de aceite após intervenção. Ambos podem contar como tarefas aceitas no cálculo total, desde que o critério esteja declarado, mas uma única média não revela quantas tarefas exigiram trabalho humano. A taxa de cada modalidade e seus custos precisam acompanhar o quociente.
Se nenhuma tarefa for aceita, a divisão fica indefinida; não existe custo por tarefa aceita calculável para aquele conjunto.
Um teste comparável usa os mesmos casos, critérios e janela de medição para cada candidato. A equipe registra o custo de todas as tentativas ligadas à tarefa, não apenas a última chamada bem-sucedida. Isso impede que uma falha desapareça da conta só porque outra tentativa entregou o resultado.
Como escolher um modelo para um fluxo agêntico?
A escolha começa com uma tarefa delimitada e termina com evidência de aceite, não com uma posição em ranking. Para cada candidato, a equipe deve observar correção por tarefa, confiança, repetição, falhas e custo no mesmo conjunto de casos. O índice externo serve para triagem; a aprovação pertence ao teste da operação.
- Definir o aceite antes da execução. Registrar quais decisões, extrações e ações são obrigatórias, quem pode aprová-las e quando uma intervenção humana muda o resultado de autônomo para assistido.
- Montar casos com gabarito verificável. Selecionar tarefas representativas da carga permitida, incluindo casos com informação insuficiente e situações em que a ação deve ser recusada. Proteger dados e permissões durante a avaliação.
- Executar e repetir sob condições registradas. Manter versão do modelo, instruções e configuração identificáveis. Rodar os mesmos casos entre candidatos e repetir casos para observar a consistência, sem confundir repetição com correção.
- Inspecionar falhas por etapa. Distinguir erro de decisão, extração incorreta, escolha inadequada de ferramenta, bloqueio por permissão e falha de execução. Guardar também casos sem resposta conclusiva.
- Calcular e decidir. Apresentar acerto por tarefa com confiança, aceite autônomo e assistido, custo por tarefa aceita e falhas relevantes. Aprovar apenas o candidato que atende aos limites definidos para aquele processo.
O limite de erro precisa refletir a consequência da decisão. Para comparar uma falha reversível em uma classificação interna com uma ação que altera um registro de negócio, a equipe precisa avaliar o impacto concreto e o custo de reversão de cada caso. O critério pode exigir aprovação humana para uma classe de ações e permitir execução autônoma para outra, desde que a equipe teste as duas rotas e registre a diferença.
Depois da escolha, a avaliação não termina. Mudanças no modelo, nas instruções, nas ferramentas ou na distribuição dos casos justificam uma nova rodada com o mesmo critério documentado. Sem esse controle, a equipe troca as condições de medição e atribui ao modelo uma diferença que ainda não isolou.
Perguntas frequentes
O Decision Index v2 oferece uma referência externa para comparar capacidades de decisão, mas cada medida tem uma unidade e uma finalidade. As respostas abaixo distinguem o resultado publicado da avaliação que uma equipe precisa conduzir na própria operação, com seus dados e suas regras de aceite.
O que é o Decision Index v2?
É um índice da Artificial Analysis que reúne avaliações de modelos em tarefas de decisão. O lançamento de 8 de novembro de 2026 descreve medidas de correção, confiança e consistência, além de custo estimado por tarefa. Seus resultados pertencem às provas da avaliadora e não representam desempenho garantido em um agente da empresa.
O que significa acertar 97% das respostas?
No exemplo citado do AA-Paperclip, significa acerto de respostas individuais de um dos modelos avaliados. Na mesma medição, 63% dos documentos tiveram todas as 15 respostas corretas. Não são duas estimativas da mesma taxa, nem uma promessa de desempenho para outro modelo ou outro conjunto de documentos.
Calibração substitui teste de consistência?
Não. Calibração compara a confiança atribuída com a correção observada; consistência examina a estabilidade da decisão em condições equivalentes ou entre execuções. Um sistema pode repetir uma decisão errada ou declarar desconhecimento de modo estável. Para escolha em produção, a equipe precisa examinar os dois sinais junto ao resultado da tarefa.
Como calcular o custo por tarefa aceita?
A equipe divide o custo das execuções avaliadas pelo número de tarefas aceitas no mesmo conjunto, incluindo falhas e novas tentativas no custo declarado. Para interpretar o resultado, ela separa as tarefas aceitas autonomamente das aceitas após intervenção e informa quais componentes de custo foram medidos, sem tratar componentes ausentes como gratuitos. Com zero tarefas aceitas, o quociente é indefinido.
Referências e Leitura Complementar
Os resultados externos são da Artificial Analysis, no recorte da v2 de 8 de novembro de 2026. A versão importa. O artigo não informa cadência de atualização. Ao citar os percentuais, a equipe informa o nome do AA-Paperclip, a unidade de cada medida e a data, além de consultar o histórico de versões antes de comparar com outra edição.
- Decision Index v2: lançamento e resultados.
- AA-Paperclip: descrição da avaliação.
- Histórico de versões da metodologia.
Próximo passo
A equipe define uma tarefa de negócio e seu critério de aceite antes de escolher o modelo. A Nexforce Agents é a unidade de desenvolvimento e implementação de agentes B2B; o Nexforce Work oferece um ambiente de trabalho com aprovações e permissões para agentes. Esses recursos não substituem a medição: a equipe precisa testar o fluxo e registrar seus resultados.
A decisão de compra fica mais clara quando o relatório mostra, para o mesmo conjunto de casos, o que foi aceito sem ajuda, o que exigiu intervenção e quanto custaram todas as tentativas. O benchmark abre a conversa. A escolha final confronta aceite, intervenções, falhas e custo com os limites definidos para a operação.

Implante Work e Code Agentssem nenhum custo de licença
Automatize tarefas operacionais e escrita de código com agentes autônomos integrados aos seus sistemas
Teste GrátisArtigos relacionados

Como definir permissões de plugin de agente de terceiros
O manifesto de um plugin de agente tem dez campos de topo e nenhum declara permissão portátil, então quem instala decide componente, credencial e escopo antes de aceitar o pacote.
Read more
Como controlar o agendamento de agentes de IA em runtime
Um contrato operacional conecta a agenda aprovada à ocorrência esperada, ao prazo de negócio e à decisão de um responsável.
Read more
agent-desktop da Vercel: quem responde pela sessão?
A atualização do agent-desktop expõe uma decisão de governança: quem controla os acessos e as ações de um agente em uma sessão gráfica.
Read more