LifeVal: a OpenAI mede a tarefa, não só a resposta

O que a OpenAI anunciou com o LifeVal?

Em 2 de novembro de 2026, a OpenAI apresentou o LifeVal, uma avaliação de modelos de IA voltada a tarefas do cotidiano. A notícia interessa a quem compra IA por um motivo: uma resposta convincente não basta para demonstrar que um trabalho terminou da maneira esperada.

A proposta amplia o que se mede. Não aposenta as provas acadêmicas. As pontuações individuais não representam uma média do LifeVal nem garantem desempenho para empresas.

A leitura editorial é outra: o comprador precisa escolher uma configuração pela capacidade de entregar o resultado verificável da sua tarefa, dentro de um limite de erro e de custo. A pergunta não é simplesmente qual resposta parece melhor. É quem verifica o que aconteceu depois dela.

Por que isso importa para a decisão de compra?

A página da OpenAI mostra 93,1% para o exemplo de matrícula após uma mudança de endereço e 90,4% para o de um plano de cuidados e alimentação. São pontuações de tarefas distintas. Para um CTO ou CFO, a comparação relevante começa por identificar qual tarefa se parece com o trabalho que pretende contratar.

Uma avaliação de conhecimento examina respostas a problemas. Uma avaliação por tarefa pergunta se a execução atende a critérios definidos. Uma não elimina a outra.

Considere a diferença entre receber uma lista de escolas e chegar a uma escolha que respeite localização, preferências e exigências de matrícula. O exemplo da OpenAI apresenta uma lista para revisão e ainda pede decisão sobre preferências. A pontuação exibida não autoriza dizer que uma criança foi efetivamente matriculada fora do ambiente avaliado.

Preparar opções e executar uma ação com efeito externo são coisas distintas. A equipe precisa definir onde termina o trabalho delegado, quando uma pessoa aprova o próximo passo e qual evidência confirma o resultado.

Como o LifeVal escolheu as tarefas?

A OpenAI partiu do American Time Use Survey e do Multinational Time Use Study para identificar atividades cotidianas e acrescentou uma pesquisa de disposição a pagar por assistência de IA, com amostra representativa dos Estados Unidos por idade, gênero, etnia e renda. As tarefas cobrem cuidados com dependentes, saúde, educação, administração doméstica, finanças pessoais, compras e serviços públicos.

A página informa 3.995 respondentes na pesquisa. O artigo técnico da OpenAI, datado de 3 de novembro, informa 3.837 pessoas que concluíram a pesquisa descrita no método, com 1.826 retidas após acertar as cinco checagens e 2.011 exclusões. Desse grupo retido saem as estimativas de valor por atividade. A diferença entre 3.995 e 3.837 segue sem explicação nos trechos consultados, e os totais não devem ser tratados como equivalentes.

O artigo técnico reconhece outros três limites. A pesquisa de disposição a pagar se concentrou nos Estados Unidos e foi feita em inglês, o que tende a subestimar tarefas comuns fora do país. Os dados do American Time Use Survey e do Multinational Time Use Study terminam em 2021, e atividades recentes podem faltar à lista. A medida de valor, por sua vez, é autodeclarada: depende do enquadramento da pergunta e da imaginação de quem responde.

Esse recorte limita a transferência direta para outras regiões, línguas e rotinas. A amostra reflete essas escolhas de origem e não representa automaticamente a carteira de trabalho de uma empresa brasileira.

O que as pontuações individuais mostram?

Na página, a OpenAI apresenta cinco exemplos de desempenho por tarefa: matrícula no jardim de infância após mudança, coordenação de voluntários para uma enchente, busca de moradia para a família, acesso remoto a um jogo com a avó e plano para um familiar com diagnóstico recente de diabetes. Cada pontuação pertence ao respectivo exemplo.

A pontuação não nasce de uma impressão geral sobre o texto. O artigo técnico descreve dois avaliadores automáticos, ambos baseados em GPT-5.6. O avaliador primário aplica uma rubrica à resposta e aos artefatos e compara o estado final do ambiente de execução com o estado inicial. O hack grader, o segundo, zera a tarefa quando detecta atalho proibido, como acesso a APIs internas do ambiente. O conjunto tem 169 tarefas em ambientes preparados, e a página não atribui cada pontuação a um modelo ou configuração nomeada.

Essas pontuações não são a taxa geral de tarefas concluídas no mundo real. A diferença entre avaliar a resposta e avaliar a execução está em avaliação de agentes além da resposta final. Não há base para calcular uma média dos exemplos e chamá-la de resultado do LifeVal, nem transferir as pontuações a tarefas empresariais.

O contexto interfere no resultado. Na busca de moradia, orçamento, localização e necessidades da família fazem parte do pedido. No exemplo de saúde, a resposta propõe um plano e perguntas para a equipe de cuidados. Plano preparado não é atendimento profissional concluído.

O que a avaliação não responde para uma empresa?

O LifeVal é uma avaliação divulgada pela OpenAI para tarefas de consumidores. Ele não estabelece um padrão de mercado nem substitui a avaliação acadêmica. As pontuações mostradas na página não respondem, por si só, como uma configuração lidará com dados internos, sistemas, autorizações e exceções de outra organização.

O artigo técnico descreve os ambientes e a rubrica que produzem a pontuação. Isso ajuda a interpretar os resultados. Não demonstra, porém, que um processo rodará da mesma forma em aplicativos, bases e permissões diferentes. Uma execução em teste e uma alteração persistida no sistema de trabalho são evidências distintas.

Preparar uma sugestão incorreta e executar uma alteração indevida não têm necessariamente o mesmo efeito. Uma pontuação agregada pode esconder a falha que o processo não aceita. A equipe deve registrar o tipo de erro e quem pode aprovar ou interromper uma ação.

A OpenAI relaciona seu trabalho a uso de navegador, uso de computador e conectores e apresenta a evolução do ChatGPT de ferramenta de conversa para assistente pessoal agêntico. Essa é a interpretação da empresa sobre a direção do produto. Ela não comprova que qualquer integração, autorização ou supervisão necessária já exista na operação do leitor.

O que muda na prática ao avaliar uma configuração?

A proposta editorial acrescenta uma verificação de tarefa à escolha da configuração, sem abandonar as medições de conhecimento quando elas respondem à pergunta certa. O contraste abaixo descreve uma leitura de compra da equipe, não uma obrigação criada pela OpenAI nem uma funcionalidade demonstrada pelo LifeVal em ambientes de produção.

A tabela não prevê qual configuração vencerá. Comparar chamadas isoladas sem registrar revisão, novas tentativas e falhas pode deslocar a despesa para outra área do processo. Se as configurações recebem contexto, ferramentas ou revisão humana diferentes, a equipe deve registrar essas condições.

O resultado pertence ao pacote completo, não apenas ao modelo.

Como calcular custo por tarefa concluída?

O custo por tarefa concluída divide o custo total observado de um conjunto de execuções pelo número de tarefas verificadas como concluídas nesse mesmo conjunto. A conta deve incluir tentativas que falharam e o trabalho de revisão considerado no escopo, não apenas a chamada que produziu a resposta final.

Custo por tarefa concluída = custo total das execuções e da revisão no período ÷ número de tarefas verificadas como concluídas.

No numerador entram uso de modelos e ferramentas, novas tentativas e tempo de revisão, quando mensurado e convertido em custo. O denominador exige um critério definido antes do teste: resposta entregue não é sinônimo de tarefa concluída.

A razão precisa de companhia. Quem abandona cedo as tarefas difíceis gasta pouco e conclui pouco, e o custo por conclusão pode cair justamente por isso. Publicar a taxa de conclusão, ou a cobertura do conjunto avaliado, ao lado do custo por tarefa concluída impede essa leitura. Sem esse par, o preço de uma conclusão isolada passa por produtividade.

Sem conclusão verificada, a divisão não produz um custo válido. Nesse caso, a equipe deve informar gasto, tentativas e falhas observadas.

A conta não resolve o risco. Para decidir o roteamento, a equipe deve definir quais configurações passaram nos limites de qualidade e segurança para a tarefa e depois comparar os custos nas mesmas condições. O cálculo aplicado a essa escolha está em custo por tarefa no roteamento de modelos.

O que a equipe deve fazer antes de mudar a operação?

Antes de mudar a operação, a equipe deve testar o próprio trabalho em condições controladas e separar uma resposta adequada de uma tarefa concluída. O roteiro abaixo é uma recomendação editorial: a OpenAI não o executa na empresa leitora, e o LifeVal não substitui esse teste.

1. Selecionar tarefas representativas. Separar pedidos frequentes e casos de maior impacto, incluindo exceções reais. Registrar contexto e versão das instruções para repetição.
2. Definir resultado e evidência. Indicar o que conta como conclusão, quem confere e qual documento ou estado prova o resultado. O que não puder ser verificado fica pendente.
3. Estabelecer limites de erro. Distinguir resposta errada, ação não autorizada e resultado não confirmado. Exigir revisão humana nas ações definidas pela organização como sensíveis ou difíceis de reverter.
4. Medir custo do conjunto. Registrar tentativas, ferramentas usadas, falhas e revisão humana. Aplicar a fórmula apenas às tarefas concluídas e verificadas, mantendo o mesmo escopo ao comparar configurações.
5. Decidir e acompanhar. Só mudar quando qualidade e risco estiverem dentro dos limites. Repetir a avaliação quando dados, ferramentas ou instruções mudarem.

Um conjunto de métricas para o primeiro piloto está em métricas de avaliação de agentes em um piloto B2B.

O teste vale para qualquer infraestrutura de IA, inclusive a discussão sobre o Nexforce Router, porque informa a decisão da equipe sobre configurações, orçamento e limites de erro antes de qualquer mudança. O LifeVal não demonstra que o Nexforce Router avalia, pontua ou roteia tarefas por si. A responsabilidade pela definição dos critérios e pela validação continua com quem opera o processo. O LifeVal não faz esse teste.

FAQ sobre o LifeVal

As pontuações do LifeVal dependem dos pedidos, do contexto e das condições do teste, e não formam uma taxa de sucesso para a operação de outra empresa. A decisão exige critérios próprios, custos observados e verificação do resultado no ambiente em que a tarefa roda.

O LifeVal substitui os benchmarks acadêmicos?

Não. A OpenAI propõe medir desempenho em tarefas cotidianas para ir além da avaliação de conhecimento, e o artigo técnico avalia a execução dentro de ambientes preparados. Uma avaliação por tarefa pergunta se a execução atende a critérios definidos; a prova acadêmica pergunta se a resposta está correta. Nenhuma das duas substitui a outra.

As cinco pontuações formam a média do LifeVal?

Não. A página apresenta cinco pontuações de tarefas individuais, cada uma presa ao seu próprio exemplo. Elas não formam a média do benchmark nem uma taxa universal de sucesso em uso real, e não há base para somá-las. Somar as cinco pontuações e chamar o total de desempenho do LifeVal seria inventar uma medida que ninguém publicou.

Uma pontuação alta garante o mesmo resultado na empresa?

Não. Dados, idioma, ferramentas, permissões e critérios de conclusão podem mudar entre a avaliação e a operação. O artigo técnico mede tarefas em ambientes preparados pela OpenAI, com rubrica definida antes da execução. A equipe deve testar tarefas representativas no ambiente previsto, registrar as condições e comparar apenas pacotes completos.

Como saber se uma configuração é mais barata por tarefa?

Somar custos, inclusive falhas, novas tentativas e revisão mensurada, e dividir pelas tarefas verificadas como concluídas. O quociente só vale com a taxa de conclusão ao lado, porque uma configuração que abandona tarefas difíceis pode exibir custo baixo sem entregar o trabalho. Qualidade e risco também precisam atender aos limites definidos antes do teste.

Referências e Leitura Complementar

A página do LifeVal reúne o anúncio de 2 de novembro e os exemplos citados. O artigo técnico da OpenAI descreve a construção da avaliação, os ambientes e as limitações. A pesquisa aparece com dois totais. As duas fontes informam volumes diferentes de respondentes, e a diferença entre 3.995 e 3.837 permanece sem explicação nos trechos consultados.

O que observar nas próximas divulgações?

O sinal mais útil será a transparência sobre quais tarefas entram na avaliação, como seus critérios são pontuados e em que condições os resultados podem ser reproduzidos. Também importa esclarecer por que a página informa 3.995 respondentes e o artigo técnico informa 3.837 concluintes.

Para o comprador, a próxima decisão continua dentro de casa: testar tarefas próprias, verificar efeitos e contabilizar o custo de todas as tentativas. Uma boa pontuação externa ajuda a formular o teste. Ela não assina a aprovação da operação.