Evaluación de modelos de decisión: 97% no basta en 2026

La evaluación de modelos de decisión empieza por una diferencia de denominador. En el lanzamiento del Decision Index v2, de Artificial Analysis, el 8 de noviembre de 2026, la evaluación AA-Paperclip, que pesa 30% del índice, mostró un modelo que acertó 97% de las respuestas individuales y apenas 63% de los documentos. El primer número no es la tasa de aprobación del segundo.
Esa distinción cambia una compra. Para comparar candidatos, el equipo examina acierto, confianza y consistencia, y después mide el costo por tarea aceptada en la propia operación. Una clasificación correcta puede venir acompañada de una extracción equivocada o de una acción que exige revisión. El benchmark selecciona candidatos; la prueba propia verifica la aceptación integral.
Marco de decisión: hechos clave
- El ejemplo de 97% y 63% usa respuestas individuales y documentos como unidades distintas.
- El Decision Score considera corrección y confianza; la consistencia responde a otra pregunta.
- El costo promedio por tarea del índice no es el costo por tarea aceptada en la operación.
- La elección final exige casos propios, registro de los intentos y una definición previa de aceptación.
¿Cuáles son los principales hallazgos?
El Decision Index v2 combina seis evaluaciones en un promedio ponderado y compara distintas familias de modelos. La puntuación final agrega acierto, confianza y estabilidad; separar esas tres cosas es trabajo de lectura, no una propiedad del índice. Y el resultado agregado no comprueba que un agente complete una operación real. La lectura empieza por la unidad de cada medida.
- En el AA-Paperclip, el ejemplo de un modelo combina 97% de respuestas individuales correctas y 63% de documentos con todas las respuestas correctas. Cada documento exige cinco decisiones y diez extracciones.
- En la v2, 45% del índice proviene de conjuntos privados, frente a 25% en la versión anterior: son las dos evaluaciones privadas, que pesan 30% y 15%. La fuente adopta datos privados para acercarse a la utilidad real y dificultar la optimización contra el test; el costo de esa elección es una reproducción independiente más limitada.
- El Decision Score considera corrección y confianza; el AA-Symmetry examina la estabilidad ante formulaciones equivalentes. Un resultado no sustituye al otro.
- El índice estima el costo por tarea a partir de los precios de tokens. Esa cuenta no incluye, por definición, la aceptación de la tarea dentro del proceso de una empresa.
La conclusión práctica no es abandonar el índice. Es impedir que una puntuación cargue con una decisión para la que no fue construida, como elegir un agente para una tarea que exige permisos, ejecución de herramientas y aceptación conforme a las reglas de la empresa. Un equipo que solo mide acierto por respuesta sabe poco sobre el trabajo que llega al final sin corrección.
¿Cómo se recolectaron los datos?
Artificial Analysis publicó el corte de la v2 el 8 de noviembre de 2026, reuniendo pruebas de decisión, extracción y elección entre acciones posibles. El AA-Paperclip contiene 1.500 documentos, con 15 respuestas exigidas por documento. La propia evaluadora realizó las mediciones; no se trata de un estudio original de Nexforce.
| Elemento | Corte publicado | Límite para la interpretación |
|---|---|---|
| AA-Paperclip | 1.500 documentos; cinco decisiones y diez extracciones por documento | Documento aprobado solo cuando las 15 respuestas están correctas |
| Conjuntos privados en el índice | 45% en la v2, frente a 25% en la versión anterior | La porción privada limita la inspección independiente de los casos |
| Decision Score | Considera corrección y confianza atribuida | No mide por sí solo el éxito de un flujo completo |
| AA-Symmetry | Observa estabilidad en formulaciones equivalentes | Respuestas estables pueden estar equivocadas o declarar desconocimiento |
La descripción del AA-Paperclip informa que los documentos y las plantillas de respuestas son privados. Eso importa para quien pretende reproducir el resultado: es posible comprender la unidad de evaluación divulgada sin tener acceso al conjunto completo para repetir la prueba. La privacidad del test no vuelve inútil el resultado; vuelve más limitada la validación independiente. El corte publicado fija los números de la prueba: 1.500 documentos, cada uno con cinco decisiones y diez extracciones, 15 respuestas exigidas por documento, y un documento solo entra como aprobado cuando las 15 respuestas están correctas. La versión también importa. El artículo fechado presenta la v2, mientras que el historial de la metodología ya registra la v2.1 y un cambio en el AA-Symmetry. Un resultado histórico tiene que viajar con la versión y la fecha. Cambiar el método a mitad de la comparación y mantener la misma leyenda produce una serie que parece continua sin ser necesariamente comparable.
¿Por qué 97% de respuestas correctas no significan 97% de documentos aprobados?
En el ejemplo publicado para el AA-Paperclip, 97% es la proporción de respuestas individuales correctas; 63% es la proporción de documentos que pasaron el criterio integral. La segunda medida exige que las cinco decisiones y las diez extracciones de un mismo documento estén correctas. Los números describen la misma prueba, pero no la misma unidad.
| Medida del ejemplo | Unidad | Resultado publicado | Criterio |
|---|---|---|---|
| Acierto individual | Respuesta | 97% | Cada respuesta se evalúa por separado |
| Acierto integral | Documento | 63% | Las 15 respuestas del documento tienen que estar correctas |
Una extracción incorrecta rechaza el documento. El documento puede acumular varias respuestas correctas y aun así fallar en el criterio integral. El promedio individual no indica cuántos documentos pasan sin corrección, pero la descomposición publicada muestra dónde se rompe el criterio: en el mismo modelo, las cinco decisiones salieron correctas en 71% de los documentos y las diez extracciones en 88%. El error que tumba el documento está más en la decisión que en la extracción, y el ejemplo no trae tasa de error por campo individual. En la operación propia, la aceptación puede exigir información correcta, acción permitida y registro para revisión. La prueba debe distinguir respuesta equivocada, intervención y tarea aceptada. Concluir la ejecución no basta: una tarea completada solo se acepta si también cumple el criterio de aceptación definido para el proceso. El resultado del AA-Paperclip no anticipa la tasa de aceptación de otro proceso.
¿Confianza y consistencia miden lo mismo?
No. El Decision Score descrito por Artificial Analysis considera corrección junto a la confianza atribuida a la respuesta. El AA-Symmetry, por su parte, examina si la decisión se mantiene cuando la formulación es equivalente. Una respuesta confiada puede estar equivocada, y una respuesta consistente puede repetir el mismo error o el mismo desconocimiento.
| Medida | Pregunta que responde | Lo que no demuestra por sí sola |
|---|---|---|
| Corrección | ¿La respuesta corresponde a la plantilla de la evaluación? | Que la confianza declarada acompañe el acierto |
| Calibración | ¿La confianza atribuida acompaña la frecuencia observada de acierto? | Que las decisiones equivalentes se mantengan entre formulaciones |
| Consistencia | ¿La decisión se mantiene en formulaciones equivalentes? | Que la decisión sea correcta o útil |
La confianza no es una garantía. Cuando un modelo declara alta confianza en respuestas equivocadas, el equipo tiene que identificar esos casos. En la evaluación interna conviene guardar la confianza junto al resultado y comparar rangos con los aciertos observados. Sin plantilla de respuestas ni revisión confiable, la propia calibración queda sin base. La consistencia cumple otra función. Un equipo puede volver a presentar casos equivalentes y verificar si la clasificación o la decisión cambia, manteniendo registro de la versión del modelo, de las instrucciones y de las condiciones de la prueba. También puede repetir ejecuciones del mismo caso para observar la variación entre rondas. Esas pruebas internas son complementarias al AA-Symmetry; no deben presentarse como si fueran la misma medición publicada. El artículo de lanzamiento observa que un modelo puede ser consistente al declarar desconocimiento de modo estable. Eso puede ser una respuesta apropiada cuando faltan datos, pero no prueba que la tarea se haya resuelto. La evaluación tiene que registrar cuándo la abstención evita una acción indebida y cuándo impide la conclusión de un caso que tenía información suficiente.
¿Qué no prueba el benchmark sobre un agente en producción?
El índice prueba capacidades en evaluaciones seleccionadas y ejecutadas por Artificial Analysis, no la ejecución completa de un agente conectado a los sistemas de la empresa. Elegir la respuesta correcta sobre una herramienta es distinto de ejecutarla con el permiso adecuado, manejar una falla y entregar un resultado que la operación acepte.
| Prueba o situación | Qué se observa | Qué queda fuera de esa prueba |
|---|---|---|
| When2Call | Elección entre respuestas candidatas, incluido llamar a una herramienta o pedir información | Ejecución real de la herramienta y efecto en el sistema de la empresa |
| AA-Paperclip | Decisiones y extracciones evaluadas por respuesta y por documento | Aprobación de una tarea comercial real después de la ejecución y la revisión |
| Prueba propia del flujo | Resultado ante los criterios y permisos definidos por el equipo | Generalización automática a otros procesos o cargas |
La página del When2Call describe la evaluación como una elección entre respuestas candidatas: responder, llamar a una herramienta, pedir información o reconocer que no hay respuesta disponible. Eso mide una decisión relevante. No muestra, por sí solo, que la llamada ocurrió, que el acceso estaba autorizado o que el sistema de destino aceptó la operación. La diferencia aparece en el rastro. Para cada tarea, el equipo tiene que poder inspeccionar la decisión tomada, los datos disponibles, los intentos de ejecución y el motivo de una eventual intervención. Una respuesta final correcta puede esconder un intento anterior inadecuado; una respuesta final incompleta puede ser la consecuencia visible de un permiso negado correctamente. El artículo sobre evaluación de agentes más allá de la respuesta final detalla por qué el recorrido y los permisos merecen una medición propia. Esa observación no descalifica una prueba de modelo. Define su alcance. La evaluación externa ayuda a armar una lista de candidatos; el flujo real decide si alguno de ellos cumple las reglas de ejecución y de aceptación de la empresa.
¿Cómo medir el costo por tarea aceptada?
La medida propuesta para la operación divide el costo total de las ejecuciones evaluadas por el número de tareas aceptadas en el mismo conjunto. El numerador tiene que incluir fallas y nuevos intentos, además de declarar los componentes considerados. El criterio de aceptación y los casos se definen antes y se mantienen iguales entre candidatos; el número de tareas aceptadas puede variar. La contingencia también entra, cuando se consume.
El costo por tarea aceptada = costo total de las ejecuciones evaluadas / número de tareas aceptadas es una propuesta de medición, no un resultado del Decision Index. El lanzamiento presenta estimaciones por un millón de tareas, y la página del índice define el costo promedio por tarea como una medida ponderada entre evaluaciones, calculada a precios de tokens. La forma de cobro y la repetición de la entrada afectan la comparación. El costo publicado no debe dividirse por la tasa de éxito de otra prueba para producir un supuesto costo por tarea aceptada. La distinción entre precio del token y costo por tarea ayuda a mantener las medidas separadas. En la operación, el primer paso es declarar el perímetro de la cuenta. Inferencia, nuevos intentos y recursos de contingencia deben entrar cuando se consumen; la revisión humana puede entrar cuando su costo se mide. Si un componente no está disponible, la comparación tiene que identificarlo como ausente en lugar de tratarlo como cero. El registro del costo por intento ayuda a estructurar esa evidencia.
El segundo paso es separar la aceptación autónoma de la aceptación después de una intervención. Ambas pueden contar como tareas aceptadas en el cálculo total, siempre que el criterio esté declarado, pero un único promedio no revela cuántas tareas exigieron trabajo humano. La tasa de cada modalidad y sus costos tienen que acompañar al cociente.
Si ninguna tarea se acepta, la división queda indefinida; no existe un costo por tarea aceptada calculable para ese conjunto.
Una prueba comparable usa los mismos casos, criterios y ventana de medición para cada candidato. El equipo registra el costo de todos los intentos ligados a la tarea, no solo de la última llamada exitosa. Eso impide que una falla desaparezca de la cuenta solo porque otro intento entregó el resultado.
¿Cómo elegir un modelo para un flujo agéntico?
La elección empieza con una tarea delimitada y termina con evidencia de aceptación, no con una posición en un ranking. Para cada candidato, el equipo debe observar corrección por tarea, confianza, repetición, fallas y costo en el mismo conjunto de casos. El índice externo sirve para la selección inicial; la aprobación pertenece a la prueba de la operación.
- Definir la aceptación antes de la ejecución. Registrar qué decisiones, extracciones y acciones son obligatorias, quién puede aprobarlas y cuándo una intervención humana cambia el resultado de autónomo a asistido.
- Armar casos con plantilla de respuestas verificable. Seleccionar tareas representativas de la carga permitida, incluidos casos con información insuficiente y situaciones en las que la acción debe rechazarse. Proteger datos y permisos durante la evaluación.
- Ejecutar y repetir bajo condiciones registradas. Mantener versión del modelo, instrucciones y configuración identificables. Correr los mismos casos entre candidatos y repetir casos para observar la consistencia, sin confundir repetición con corrección.
- Inspeccionar las fallas por etapa. Distinguir error de decisión, extracción incorrecta, elección inadecuada de herramienta, bloqueo por permiso y falla de ejecución. Guardar también los casos sin respuesta concluyente.
- Calcular y decidir. Presentar acierto por tarea con confianza, aceptación autónoma y asistida, costo por tarea aceptada y fallas relevantes. Aprobar solo al candidato que cumple los límites definidos para ese proceso.
El límite de error tiene que reflejar la consecuencia de la decisión. Para comparar una falla reversible en una clasificación interna con una acción que altera un registro de negocio, el equipo necesita evaluar el impacto concreto y el costo de reversión de cada caso. El criterio puede exigir aprobación humana para una clase de acciones y permitir ejecución autónoma para otra, siempre que el equipo pruebe las dos rutas y registre la diferencia.
Después de la elección, la evaluación no termina. Cambios en el modelo, en las instrucciones, en las herramientas o en la distribución de los casos justifican una nueva ronda con el mismo criterio documentado. Sin ese control, el equipo cambia las condiciones de medición y le atribuye al modelo una diferencia que todavía no aisló.
Preguntas frecuentes
El Decision Index v2 ofrece una referencia externa para comparar capacidades de decisión, pero cada medida tiene una unidad y una finalidad. Las respuestas a continuación distinguen el resultado publicado de la evaluación que un equipo necesita conducir en la propia operación, con sus datos y sus reglas de aceptación.
¿Qué es el Decision Index v2?
Es un índice de Artificial Analysis que reúne evaluaciones de modelos en tareas de decisión. El lanzamiento del 8 de noviembre de 2026 describe medidas de corrección, confianza y consistencia, además de costo estimado por tarea. Sus resultados pertenecen a las pruebas de la evaluadora y no representan un desempeño garantizado en un agente de la empresa.
¿Qué significa acertar 97% de las respuestas?
En el ejemplo citado del AA-Paperclip, significa acierto de respuestas individuales de uno de los modelos evaluados. En la misma medición, 63% de los documentos tuvo las 15 respuestas correctas. No son dos estimaciones de la misma tasa, ni una promesa de desempeño para otro modelo u otro conjunto de documentos.
¿La calibración sustituye la prueba de consistencia?
No. La calibración compara la confianza atribuida con la corrección observada; la consistencia examina la estabilidad de la decisión en condiciones equivalentes o entre ejecuciones. Un sistema puede repetir una decisión equivocada o declarar desconocimiento de modo estable. Para la elección en producción, el equipo necesita examinar las dos señales junto al resultado de la tarea.
¿Cómo calcular el costo por tarea aceptada?
El equipo divide el costo de las ejecuciones evaluadas por el número de tareas aceptadas en el mismo conjunto, incluidos fallas y nuevos intentos en el costo declarado. Para interpretar el resultado, separa las tareas aceptadas de forma autónoma de las aceptadas después de una intervención e informa qué componentes de costo se midieron, sin tratar componentes ausentes como gratuitos. Con cero tareas aceptadas, el cociente es indefinido.
Referencias y Lectura Complementaria
Los resultados externos son de Artificial Analysis, en el corte de la v2 del 8 de noviembre de 2026. La versión importa. El artículo no informa la cadencia de actualización. Al citar los porcentajes, el equipo informa el nombre del AA-Paperclip, la unidad de cada medida y la fecha, además de consultar el historial de versiones antes de comparar con otra edición.
- Decision Index v2: lanzamiento y resultados.
- AA-Paperclip: descripción de la evaluación.
- Historial de versiones de la metodología.
Próximo paso
El equipo define una tarea de negocio y su criterio de aceptación antes de elegir el modelo. Nexforce Agents es la unidad de desarrollo e implementación de agentes B2B; Nexforce Work ofrece un entorno de trabajo con aprobaciones y permisos para agentes. Esos recursos no sustituyen la medición: el equipo necesita probar el flujo y registrar sus resultados.
La decisión de compra queda más clara cuando el informe muestra, para el mismo conjunto de casos, qué se aceptó sin ayuda, qué exigió intervención y cuánto costaron todos los intentos. El benchmark abre la conversación. La elección final confronta aceptación, intervenciones, fallas y costo con los límites definidos para la operación.

Acelera la eficienciaoperativa de tu negocio
Diseñamos tecnología de nivel global para impulsar escala del negocio
Hablar con un EspecialistaArtículos relacionados

Cómo definir permisos de un plugin de agente de terceros
El manifiesto de un plugin de agente tiene diez campos de nivel superior y ninguno declara permisos portables. Quien instala decide los componentes, las credenciales y los alcances antes de aceptar el paquete.
Read more
Programar agentes de IA con controles en ejecución
Un contrato operativo conecta la programación aprobada con la ocurrencia esperada, el plazo de negocio y la decisión de un responsable.
Read more
agent-desktop de Vercel: ¿quién responde por la sesión?
La actualización de agent-desktop plantea una decisión de gobernanza: quién controla los accesos y las acciones de un agente en una sesión gráfica.
Read more