Throughput por megawatt: self-host ou API para IA?

A GPU pode produzir mais tokens por watt e perder na conta de uma requisição. Throughput por megawatt mede capacidade sob uma carga definida, não o custo da infraestrutura parada. Capacidade dedicada merece preferência quando entrega menor custo total medido com requisitos equivalentes; API vence quando atende aos mesmos requisitos por menos.

A Artificial Analysis publicou os resultados do AA-AgentPerf em 15 de outubro de 2026. O maior múltiplo relatado chega a 5,7x em uma comparação específica de throughput por potência de GPU. Ele não é uma promessa de economia, nem uma comparação de faturas. A decisão de compra exige comparar o custo completo das alternativas, uma conta que o benchmark não apresenta.

O que o throughput por megawatt mede?

Throughput por megawatt relaciona tokens contabilizados por tempo à potência medida, em megawatts, sob uma carga definida. A fronteira importa. No AA-AgentPerf, a potência cobre GPUs e sua memória, não a instalação inteira; a medida descreve a capacidade nas condições de teste, mas não informa a energia total nem o custo por requisição.

A fonte compara Vera Rubin NVL72 com a linha de configurações GB300 descrita pela Artificial Analysis. A tabela reúne as maiores vantagens aproximadas encontradas em pontos específicos de velocidade de saída por usuário, não a razão entre os picos de throughput de cada sistema.

O detalhe do comparador importa. No máximo do Pro, a linha GB300 usa configurações menores construídas pela Artificial Analysis, não um rack integral. No máximo do Flash, a própria configuração Vera Rubin é menor que o rack integral. Os limites de saída também diferem no Flash, e a fonte relata que isso favorece modestamente o throughput da Vera Rubin. As topologias não são intercambiáveis.

Há outra fronteira. O throughput soma tokens de entrada novos e reutilizados em cache com tokens de saída, segundo a metodologia do AA-AgentPerf. Ele não representa apenas tokens reprocessados ou cobrados por uma API. A velocidade de saída exclui a espera pelo primeiro token. Para o Pro, a conclusão muda quando essa espera entra na métrica de velocidade de ponta a ponta.

CPU, rede e refrigeração ficam fora da potência do benchmark. Uma equipe que trate o denominador como consumo total do datacenter começa a conta com uma despesa invisível.

Como o reaproveitamento de prefixo muda o processamento?

O cache de prefixo permite reaproveitar o estado de processamento de uma entrada anterior quando o prefixo é compatível e o estado de KV está disponível para a nova requisição. A repetição cria uma oportunidade, não um acerto automático. A parte do prefixo cujo estado compatível estiver disponível pode ser reutilizada; o restante precisa de prefill.

No prefill, o modelo processa os tokens de entrada e produz estados intermediários de atenção, conhecidos como KV. Se uma requisição posterior começa com o mesmo prefixo e consegue acessar o estado compatível, o sistema pode reutilizar esse trabalho e processar a parte nova. A saída ainda precisa ser gerada conforme a requisição. Isso é diferente de cache de resposta, que reaproveita uma resposta já produzida.

No conjunto de trajetórias usado para descrever a carga do AA-AgentPerf, as entradas chegam a 132 mil tokens e 97% dos tokens de entrada repetem, em média, a requisição anterior. Esses valores descrevem esse conjunto de trajetórias. Não são a taxa de acerto de cache, uma economia financeira ou uma característica de qualquer outra aplicação.

A permanência do estado importa tanto quanto a semelhança do texto. Se o cache expira, é removido por pressão de memória ou não está acessível ao processo que atende a requisição, o prefixo repetido não produz o reaproveitamento esperado. A equipe deve verificar compatibilidade, retenção e rota observada em conjunto, sem supor que qualquer gateway faça afinidade de sessão ou roteamento consciente de KV.

A taxa de acerto pode dividir os tokens elegíveis servidos do cache pelos tokens elegíveis. A proporção de requisições com algum acerto responde a outra pergunta.

Como converter throughput por megawatt em custo por requisição?

Não existe conversão direta de throughput por megawatt em custo por requisição de IA. Para decidir entre self-host ou API, a comparação exige dividir a despesa total atribuível na janela pelas requisições lógicas concluídas na mesma janela. Potência e throughput indicam capacidade; ocupação, energia, cobrança e sucesso determinam a conta.

A fórmula proposta é simples, mas sua fronteira precisa ser explícita:

Custo por requisição = custo total atribuível na janela / requisições lógicas concluídas na janela

Uma requisição lógica é a unidade definida pela operação para entregar uma resposta aceita. Se houve falha ou retentativa, a despesa correspondente continua no numerador; a contagem no denominador não transforma cada tentativa em uma nova requisição concluída. Uma tarefa pode envolver várias requisições, por isso custo por tarefa é outra régua. O custo real de uma aplicação de IA ajuda a separar a despesa de uma tarefa da tarifa anunciada por token.

Para inferência em infraestrutura própria, o numerador reúne capacidade contratada ou custo de capital alocado ao período, energia atribuível da instalação, rede, operação e demais despesas pertinentes. A capacidade ociosa continua na conta. A energia deve cobrir carga e ociosidade na fronteira escolhida, sem repetir custos já incorporados em outro componente.

Para API, entram a fatura atribuível, incluindo entrada, saída, eventuais cobranças de cache, falhas e retentativas cobradas, e as despesas adicionais de rede ou operação que não constem da fatura. A equipe financeira usa a mesma moeda e o mesmo período nas alternativas. A equipe de plataforma confirma carga, modelo ou qualidade verificavelmente equivalente e critério de aceitação.

Potência não é energia. Potência média multiplicada pelo tempo fornece energia quando fronteira e janela coincidem. Com potência em quilowatts e tempo em horas, a energia fica em quilowatt-hora; multiplicada pela tarifa em moeda por quilowatt-hora, resulta no custo de energia. Medir a GPU não resolve automaticamente a energia atribuível de CPU, rede e refrigeração da instalação.

Legenda: Potência média vezes tempo, na mesma fronteira e janela, fornece energia. A potência da GPU no benchmark não é a energia atribuível da instalação. Alt: Diagrama compara a composição do custo por requisição em infraestrutura própria e API, com potência e energia separadas.

Tokens contabilizados divididos pelo tempo produzem throughput; throughput dividido pela potência medida em MW produz throughput por MW. Esse indicador não informa quantas requisições foram concluídas: é preciso observar comprimento de entrada e saída, concorrência, hits e capacidade útil.

Quais custos a comparação por token deixa de fora?

A tarifa por token não captura, por si só, capacidade reservada e ociosa, energia da instalação, operação nem os custos adicionais fora de uma fatura de API. A comparação deve atribuir cada componente à mesma janela e identificar sua fonte, para evitar tanto despesas omitidas quanto cobranças contadas em duplicidade.

O custo ocioso continua na conta.

O guia para reduzir custos de inferência discute despesas da operação. Nesta comparação, a equipe precisa medir quantas requisições lógicas concluídas a capacidade paga entrega e quanto custam a GPU e os demais componentes.

A resposta também precisa caber no requisito de serviço. As métricas de benchmark de roteador de modelos ajudam a avaliar qualidade, latência e custo das rotas. Nenhuma delas deve ser confundida com a potência de GPU usada no denominador do AA-AgentPerf. A rota mais barata que não atende ao critério de qualidade não é uma alternativa equivalente.

Quando capacidade dedicada tende a fazer sentido?

Capacidade dedicada tende a fazer sentido quando entrega requisições lógicas concluídas a custo total medido menor que a alternativa por API, com requisitos equivalentes. Ocupação e reaproveitamento efetivo de cache, quando houver, entram na avaliação. Recorrência, sozinha, não garante o resultado. A escolha depende da despesa da janela inteira e dos requisitos de qualidade e serviço.

A utilização de GPU precisa ser observada em períodos de trabalho e de espera. Medir somente o trecho em que a fila está cheia pode favorecer a capacidade dedicada na planilha, ao omitir períodos ociosos. A janela de comparação deve incluir essa ociosidade, assim como as despesas de manutenção e operação atribuíveis.

Quando houver cache, a equipe mede se o prefixo é compatível, se o estado permanece disponível e se a rota alcança o processo que o detém. Uma entrada repetida enviada a outro processo sem acesso ao estado pode exigir prefill novamente. Não há hit apenas porque o histórico é parecido.

Quando o resultado satisfaz os requisitos e a conta completa fica abaixo da API medida na mesma carga, a capacidade dedicada tem argumento econômico. Se a despesa fixa domina a janela ou o cache não aparece onde se espera, o mesmo benchmark deixa de sustentar a compra. Capacidade anunciada não paga o tempo ocioso.

Quando o consumo roteado tende a fazer sentido?

O consumo roteado por API tende a fazer sentido quando a demanda dispersa ou irregular deixaria capacidade dedicada ociosa e quando a fatura efetiva, somada aos custos adicionais, fica menor sob requisitos equivalentes. A decisão exige verificar as rotas disponíveis, a qualidade entregue e as regras de cobrança do contrato concreto.

A carga varia. Modelos ou limites de serviço podem variar entre classes; separá-las evita comparar exigências distintas ou esconder uma classe cara na média.

A política de cache da API pertence ao contrato observado. O fornecedor pode oferecer tratamento para entrada reutilizada, mas a equipe precisa verificar elegibilidade, forma de cobrança e uso registrado; não deve presumir a mesma regra em todas as rotas. Despesas de tentativas malsucedidas e de operação permanecem no numerador mesmo quando a cobrança principal parece simples.

Uma API não é automaticamente mais barata por evitar a compra de hardware. Se a carga é recorrente e a capacidade dedicada apresenta melhor custo completo com qualidade equivalente, a evidência aponta para self-host. A hipótese se inverte quando a fatura efetiva e os custos adicionais favorecem a API. O estudo da Artificial Analysis não decide nenhum desses casos.

Como testar a decisão na própria carga?

O teste compara as alternativas na mesma janela, com classes de requisição, critérios de qualidade e unidade financeira previamente definidos, enquanto a equipe registra prefixos, hits, capacidade, energia, despesas e requisições lógicas concluídas. O resultado é uma conta verificável por classe e para o conjunto, não uma extrapolação do benchmark público.

1. Definir a janela, as classes de requisição, o modelo ou qualidade verificavelmente equivalente e o que caracteriza uma resposta aceita. Registrar o total de requisições despachadas, concluídas, falhas e retentativas sem confundir tentativas com requisições lógicas.
2. Registrar entrada, saída e prefixo repetido por classe, preservando a distribuição das requisições.
3. Medir tokens elegíveis servidos do cache, tempo de retenção e disponibilidade do estado compatível. Distinguir hit parcial de reaproveitamento integral.
4. Medir capacidade alocada, potência, energia atribuível, ociosidade e despesas operacionais. Documentar fronteiras e unidades.
5. Obter a fatura efetiva de API e acrescentar custos atribuíveis não incluídos. Conferir a cobrança de entrada, saída, cache e tentativas.
6. Dividir o custo total de cada alternativa pelas requisições lógicas concluídas e comparar qualidade e requisitos de serviço por classe. Revisar a decisão se a carga, o contrato ou a disponibilidade de cache mudar.

Legenda: O estado compatível disponível permite reaproveitamento integral ou parcial do prefixo; o restante exige prefill. Alt: Fluxo separa reaproveitamento integral, hit parcial e ausência de estado compatível no cache de KV.

O procedimento para decidir a rota de LLM com tráfego real complementa essa avaliação com tráfego observado. A régua financeira continua separada: uma rota aceitável tecnicamente ainda precisa fechar a conta na unidade escolhida.

Perguntas frequentes

Throughput maior não garante custo menor; a conta depende da ocupação, da energia e das despesas da janela. Prefixo repetido também não é cache hit: o reaproveitamento exige estado compatível e disponível. Para uma API, a cobrança depende do contrato e do uso registrado.

Throughput maior significa custo menor?

Não necessariamente. Throughput maior por potência pode indicar mais capacidade para a carga e a fronteira testadas, mas custo por requisição depende também de ocupação, energia da instalação, capacidade alocada, operação e requisições concluídas. A vantagem financeira só aparece quando a conta completa é medida com requisitos equivalentes.

Repetição de prefixo é igual a cache hit?

Não. Repetição descreve o conteúdo da entrada; cache hit exige que o estado compatível esteja disponível e seja encontrado quando a requisição chega. No AA-AgentPerf, os 97% indicam repetição média de tokens de entrada naquela carga, não a proporção de tokens servidos do cache nem economia.

Uma API sempre cobra o prefixo reutilizado da mesma forma?

O contrato define a cobrança. O tratamento de entrada reutilizada depende do contrato e das regras da rota utilizada. A equipe deve conferir elegibilidade, uso registrado e fatura efetiva, inclusive eventuais cobranças de cache e tentativas. Sem esses dados, não há base para atribuir uma tarifa ou uma economia à reutilização.

Carga repetitiva basta para justificar capacidade dedicada?

Não basta. Repetição pode criar oportunidade de reaproveitamento, mas a escolha depende do custo completo medido, da ocupação, do cache efetivamente observado e de requisitos equivalentes, mesmo que não haja hits. A comparação precisa incluir períodos ociosos e verificar se a qualidade e os requisitos de serviço são equivalentes aos da API.

Referências e Leitura Complementar

A Artificial Analysis é a fonte dos resultados e da metodologia de throughput e potência, mas o estudo não compara faturas nem custo por requisição entre self-host e API. A fórmula é uma proposta. A operação precisa medir as despesas na mesma janela e dividi-las pelas requisições lógicas concluídas para usar a régua financeira.

• AA-AgentPerf: resultados Vera Rubin NVL72, Artificial Analysis, 15 de outubro de 2026.
• Metodologia do AA-AgentPerf, Artificial Analysis.

O que medir antes de escolher a rota

A escolha não vem do benchmark. A decisão deve partir de uma janela representativa, custos atribuíveis e requisições lógicas concluídas com qualidade aceita, em comparação com uma API que atenda aos mesmos requisitos. A alternativa com menor custo medido nessa janela tem argumento econômico.

O próximo passo é atribuir responsáveis à medição de energia, fatura e qualidade antes de negociar capacidade. O Nexforce Router é um gateway para acessar e rotear modelos por uma API, com critérios configuráveis e observabilidade de consumo. A escolha entre rotas efetivamente disponíveis continua sujeita à medição, sem promessa de economia ou de cache de prefixo.