Índice da Artificial Analysis em v4.3: o novo teste de IA

O índice de inteligência artificial que boa parte do mercado usa para decidir qual modelo contratar trocou de instrumento. A Artificial Analysis publicou em 2026-09-07 a versão v4.3 do Intelligence Index, com o Terminal-Bench subindo de v2.1 para v4.0, o AutomationBench-AA assumindo o peso de 5% que era do tau3-Banking e as avaliações com tarefas ou respostas privadas passando de 40% para 45% do total. Quando a régua muda, o placar do mesmo modelo deixa de ser o mesmo número. Um score sem a versão do índice ao lado é um número sem régua, e é assim que ele circula em proposta comercial, em planilha de compras e em slide de comitê.

Por que isso importa

Três das mudanças v4.3 são metodológicas, não cosméticas. O Terminal-Bench foi reescrito de v2.1 para v4.0, o que significa que o conjunto de tarefas de terminal mudou de conteúdo; o tau3-Banking saiu do índice e o AutomationBench-AA entrou herdando o peso de 5%; e o bolo de avaliações com tarefas ou respostas privadas ganhou cinco pontos percentuais.

Nada disso altera o comportamento do modelo.

Altera o que o número mede.

O efeito prático é direto para quem compra. Se a sua política de rota foi calibrada com um score v4.2, ela foi calibrada com outro instrumento. Um modelo que subiu três pontos entre a leitura anterior e a atual pode ter subido por mérito próprio, por uma tarefa mais fácil no barramento novo, ou por uma composição de pesos diferente. A Artificial Analysis publica a versão junto do número justamente por isso; quem replica o número sem a versão é que quebra a série.

A comparabilidade é o ativo que uma base de avaliação leva anos para construir e que um re-base devolve em um dia. Não é um defeito do v4.3. É o custo de corrigir um instrumento que ficou desatualizado, e a conta chega para quem tratou o placar como constante.

O que exatamente mudou no índice v4.3

A leitura de 2026-09-14 da fonte primária registra quatro alterações no instrumento. O Terminal-Bench muda de versão maior, o tau3-Banking sai da composição e o AutomationBench-AA assume o peso de 5% que era dele. E o peso agregado de avaliações com tarefas ou respostas privadas sobe de 40% para 45%.

O quarto item da lista é o que mais mexe com a natureza da medição, e vale abrir em duas partes. O AutomationBench-AA é novo e entra com conjunto privado de tarefas.

Cada linha merece uma frase. O Terminal-Bench mede execução em ambiente de linha de comando, e a passagem para v4.0 troca o conteúdo do teste, não o modelo que faz o teste. O tau3-Banking continua existindo como avaliação; o que aconteceu é que ele deixou de compor este índice, e o AutomationBench-AA herdou a fatia dele. O AutomationBench-AA cobra automação de fluxo de trabalho em seis domínios: Finance, HR, Marketing, Operations, Sales e Support. E o peso privado maior é a consequência aritmética de ter entrado um conjunto privado de tarefas no lugar de um barramento público.

Um conjunto privado de tarefas held-out, e por que ele muda a medição

Um conjunto privado de tarefas held-out é um conjunto de teste que não circula publicamente. O ganho é medir generalização em vez de medir familiaridade. Quando o conjunto é público, um laboratório pode treinar contra ele, e o placar sobe por sobreajuste ao teste, não por capacidade.

O detalhe que sustenta esse ganho é operacional: o conjunto não aparece em material de treino nem em bancada de otimização. Com um conjunto privado de tarefas de 657 itens, essa rota fica fechada. É a mesma lógica que já apareceu quando três avaliações agênticas mudaram a escolha de modelo para agentes, e vale registrar o que ela não resolve.

O AutomationBench-AA foi construído em colaboração com a Zapier e as tarefas são de automação de workflow do mundo real. A Zapier é dona do conjunto, e isso é parte do desenho do instrumento, não patrocínio do resultado: quem escreve as tarefas precisava de fluxos de trabalho reais, e a Zapier opera esses fluxos em produção. A Artificial Analysis mantém a avaliação e reporta os números. São papéis separados, e a distinção importa para quem lê o resultado com ceticismo saudável.

O rigor do desenho aparece em um detalhe que costuma passar batido. O benchmark reporta duas medidas distintas. O Score é a média da fração de objetivos concluídos por tarefa, e é essa a métrica que entra no Intelligence Index; qualquer violação de guardrail zera aquela tarefa, o que é uma escolha de desenho e não um detalhe de execução, porque despeja em zero todo um trabalho que avançou. O Tasks Completed é a fração dos fluxos de trabalho em que todos os objetivos foram concluídos sem nenhuma violação de guardrail. A fonte declara que completar tudo respeitando os guardrails continua mais difícil do que completar parte do fluxo. Ler as duas medidas como se fossem uma só é o erro clássico de quem cita benchmark de memória: a diferença entre elas é exatamente o que a avaliação quer medir.

Há um limite honesto nesse tipo de conjunto. Um conjunto privado de tarefas reduz otimização contra o teste, mas não elimina o risco de o conjunto envelhecer. 657 tarefas descrevem bem os fluxos de trabalho de hoje e vão descrever pior os de 2027. Nenhum benchmark held-out é permanente, o que é mais um motivo para citar a versão junto do número.

O que a troca de barramento faz com a série histórica

Um score v4.2 e um score v4.3 do mesmo modelo não compartilham a mesma régua. A pergunta que o comprador precisa fazer mudou de "qual é o melhor modelo" para "melhor em relação a qual instrumento", e ela não é retórica: é a diferença entre uma decisão reancorada e uma decisão herdada.

Dois barramentos mexidos e um bolo de peso privado maior bastam para invalidar a comparação direta entre as duas leituras, mesmo que o nome do modelo seja idêntico nas duas linhas da tabela. Foi exatamente esse o problema que a peça sobre o re-base v4.2 e a redecisão de escolha levantou, e a v4.3 não o resolveu: ela o repetiu em outro lugar do instrumento.

O ponto vale ser dito sem rodeio: um score é medição de terceiro em versão datada, nunca verdade de produção verificada. Ele foi produzido por um instrumento com data, sob uma composição de pesos que está publicada, sobre tarefas que você não viu executar na sua carga. Isso não desqualifica o índice. Ele é, hoje, a referência pública mais consistente para posicionar modelos, e a alternativa é decidir no escuro. O que ele não é, é um atestado sobre o seu caso.

A consequência de governança é chata e necessária. Todo documento interno que cita um score precisa carregar a versão do índice junto, como já carrega a data da cotação do dólar. Um requisito que diz "modelo acima de 50 no Intelligence Index" envelhece mal e vai ser reinterpretado por alguém em três meses. Um requisito que diz "acima de 50 na v4.3, verificação prevista para a próxima versão" sobrevive à auditoria.

O que o novo índice mostra, e o que ele não decide

A leitura v4.3 de 2026-09-14 coloca Claude Fable 5.1 (max with fallback) e GPT-6 Astra (max) empatados no topo, com 53. Na sequência vêm Claude Opus 5 (max) com 51, Claude Fable 5 (with fallback) com 50, Muse Spark 1.3 (max) com 48 e GPT-5.6 Sol (max) com 47.

Nada disso é permanente. São leitura datada, não ranking, e a próxima versão do índice pode reordenar essa lista sem que nenhum dos modelos tenha mudado. O topo do índice, aliás, já foi lido como estrutura e não como tabela: foi o que fez a fotografia do fim do duopólio de modelos, que continua valendo como retrato de mercado e continua não dizendo nada sobre o instrumento que produziu os números.

No Terminal-Bench v4.0, o GPT-6 Astra (max) marca 59,1% de pass@1 sobre 66 tarefas rodadas três vezes cada, contra 52,0% da Claude Fable 5.1 e 49,0% da Claude Opus 5. O intervalo de 7,1 pontos entre o primeiro e o segundo é grande para um barramento do mesmo tipo, e vale lembrar que ele foi medido no instrumento novo: a distância não é comparável com nenhuma distância publicada na v2.1.

Os dois primeiros colocados do índice têm o mesmo score e custos por tarefa que não se parecem. O GPT-6 Astra (max) aparece a US$ 3,26 por tarefa e a Claude Fable 5.1 (max with fallback) a US$ 7,63, uma diferença de 57% com score idêntico no índice. Mais abaixo, GLM-5.3-Flash e GPT-5.6 Terra (max) empatam em 42 a US$ 0,25 e US$ 1,40 por tarefa, respectivamente: o GLM-5.3-Flash custa 18% do par. São consequências visíveis de um instrumento que agora pesa mais avaliação com tarefa privada, e a leitura que interessa é de instrumento: o custo por tarefa do índice é a média de um conjunto de tarefas que não é o seu, então ele serve para levantar a hipótese de rota, nunca para fechá-la.

O que isso muda para quem roteia modelos

A consequência operacional é um procedimento, e ele é curto. Quem roteia modelos deveria tratar re-base de índice como trataria uma mudança de schema: identifica o que quebrou, revalida o que importa e segue com a política ajustada, sem refazer a análise de fornecedor inteira.

O trabalho não é refazer a análise de fornecedor inteira. É reancorar as decisões que estavam apoiadas no placar, e o guia de avaliação com a régua estável continua sendo o ponto de partida para quem vai refazer a conta.

1. Anote a versão do índice ao lado de todo score que circular internamente. Requisito de licitação, justificativa de compra, comparação de fornecedor. Um score sem versão é um número órfão, e ele vai ser citado fora de contexto por alguém que não tem como saber de onde veio.
2. Trate a série v4.2 como encerrada, não como tendência. Não calcule a variação entre o score anterior e o atual do mesmo modelo como se fosse ganho ou perda de capacidade. Se a diferença importa para a decisão, o caminho é reexecutar no instrumento novo, não subtrair as duas leituras.
3. Re-teste com o seu tráfego antes de redecidir a rota. Um conjunto privado de tarefas com 657 itens mede automação de workflow em geral. O seu fluxo de trabalho não está nesse conjunto. O teste paralelo, com o mesmo prompt em vários modelos, resolve em horas o que a discussão de placar não resolve em semanas.
4. Escreva a política por tarefa, com fallback e teto. Um score único não sustenta uma decisão de roteamento. O que sustenta é regra de rota por chave para cada classe de tarefa, com fallback configurado para quando o provedor primário falhar e um teto de gasto por chave, por projeto, para que a mudança de rota não vire surpresa no fechamento do mês.
5. Mantenha o rastro de auditoria de cada chamada. Quando o próximo re-base chegar, e ele chega, o histórico de execução real vale mais do que qualquer comparação de placar público. É o único dado que responde "como o modelo se comportou na minha carga, sob a minha política".
6. Reagende a revisão da política para a próxima versão do índice. A v4.3 é a régua de hoje. Datas de revisão presas a um número de versão vencem sozinhas e não dependem de alguém lembrar.

É aqui que o Nexforce Router entra, e entra pelo motivo chato. Nenhuma dessas seis ações exige trocar de fornecedor de modelo. Todas exigem uma camada que fique entre a aplicação e os provedores, e é a mesma camada que os critérios de avaliação de um LLM gateway descrevem antes da contratação. O Router é um gateway de LLM com roteamento inteligente por custo, desempenho, latência e contexto, teste paralelo de um prompt em vários modelos, ranking de modelos em tempo real por desempenho e preço, failover automático e fallback configurável, regras de rota por chave e teto de gasto por chave ou por projeto. Ele mantém observabilidade central e um rastro de auditoria de cada chamada, e troca de modelo sem reintegração, o que é o que permite redecidir uma rota sem abrir um projeto de engenharia.

O ponto de honestidade: o Router não decide o que o índice v4.3 significa para o seu caso, e não tem como. Ele deixa você medir. A próxima vez que a Artificial Analysis reescrever o instrumento, quem tiver o teste paralelo montado reancora a política em uma tarde. Quem tiver o placar colado na planilha vai redescobrir a diferença entre citar um número e decidir com base nele.

Perguntas frequentes

O que mudou no índice de inteligência artificial em v4.3? A Artificial Analysis publicou a v4.3 em 2026-09-07 com quatro alterações: o Terminal-Bench sobe de v2.1 para v4.0, o tau3-Banking sai do índice, o AutomationBench-AA entra e assume o peso de 5% que era do tau3-Banking, e as avaliações com tarefas ou respostas privadas passam de 40% para 45%.

O que é o AutomationBench-AA? É um benchmark agêntico de automação de workflow, na versão 1.0.6, construído pela Artificial Analysis em colaboração com a Zapier sobre um conjunto privado de tarefas held-out de 657 itens, em Finance, HR, Marketing, Operations, Sales e Support. Qualquer violação de guardrail zera a tarefa, e ele assume o peso de 5% que era do tau3-Banking.

Por que scores de versões diferentes do índice não se comparam? Porque o instrumento mudou. Dois barramentos foram trocados ou reescritos e o peso das avaliações com tarefas ou respostas privadas subiu de 40% para 45%. O mesmo modelo medido na v4.2 e na v4.3 não foi medido pela mesma régua, então a diferença entre as duas leituras mistura mudança de modelo com mudança de teste.

Um conjunto privado de tarefas é confiável? Ele é mais resistente a otimização contra o teste do que um conjunto público, porque o conteúdo não circula e não entra em bancada de treino. Confiável não significa definitivo: um conjunto privado de tarefas held-out de 657 itens descreve bem os fluxos de trabalho de hoje e envelhece como qualquer conjunto. A leitura correta é a de instrumento datado, com a versão citada.

O que eu faço com o score do índice na minha política de rota? Use como ponto de partida, nunca como resposta final. Re-teste com o seu tráfego em teste paralelo, escreva a regra por tarefa, configure fallback e teto de gasto, e mantenha o rastro de auditoria de cada chamada. A cada nova versão do índice, reancore a política com os seus próprios dados em vez de recalcular a diferença entre placares.

Referências e Leitura Complementar

• Artificial Analysis, "Announcing the Artificial Analysis Intelligence Index v4.3", publicado em 2026-09-07. artificialanalysis.ai
• Zapier, página de benchmarks da empresa, que confirma o conjunto de tarefas held-out de propriedade da Zapier usado pelo AutomationBench-AA. zapier.com/benchmarks
• Ranking de modelos de IA resetou: o que muda na escolha, a peça irmã sobre o re-base v4.2 e a redecisão de rota. nexforce.ai
• Intelligence Index 2026: o fim do duopólio de modelos de IA, a fotografia estrutural de quem está no topo do índice. nexforce.ai
• Três avaliações agênticas mudam como escolher modelos para agentes, sobre o que fazer quando o conjunto de avaliações muda. nexforce.ai
• Benchmark LLM: como avaliar e escolher o modelo certo, o guia de avaliação com a régua estável. nexforce.ai
• Como avaliar e escolher um LLM gateway, os critérios que importam antes de contratar a camada de roteamento. nexforce.ai

O que observar na próxima versão

A v4.3 é a régua de hoje e vai ser substituída, provavelmente antes do que a maioria das políticas de rota internas prevê. O sinal a acompanhar não é a posição de um modelo específico: é a nota de metodologia que a Artificial Analysis publica junto de cada versão. Enquanto ela continuar abrindo o peso dos barramentos e o tamanho dos conjuntos privados, o número continua auditável. No dia em que a nota vier mais curta, é aí que a decisão de rota fica mais difícil, porque a régua passa a mudar sem explicação pública. E aí ninguém sabe o que mudou.

Para quem roda modelos em produção, a conclusão prática cabe em uma linha: trate o índice como instrumento datado, não como veredito. Cite a versão, re-teste com o seu tráfego, e mantenha o roteamento em uma camada onde trocar de modelo custa uma configuração e não um projeto. As três primeiras semanas depois de um re-base são as mais caras para quem decidiu no placar antigo e não sabia.

Modelos entram e saem do topo do índice com uma frequência que já não surpreende ninguém. O que muda devagar é o instrumento, e é por isso que a v4.3 merece mais atenção do que a posição de qualquer modelo na lista. Quando a régua muda, quem tinha o número decorado precisa reaprender a medir.