Benchmark de LLMs para CFOs: Costo, No Puntaje Técnico

La mayoría de las empresas que adoptan LLMs en producción comete el mismo error de procurement: evalúa el modelo por los puntajes técnicos y paga la cuenta sin hacer el cálculo financiero. El CFO recibe una factura de API. El CTO presenta una diapositiva con MMLU, HumanEval y throughput. Dos lenguajes distintos, una decisión que sale cara.

El benchmark de LLMs tradicional mide rendimiento. Finanzas mide retorno. El primero prueba el modelo. El segundo prueba la decisión de compra.

Este artículo opera en la segunda capa: TCO, costo por token ponderado por caso de uso, inteligencia por dólar y payback. Las métricas que transforman una comparación de modelos en una decisión de asignación de capital.

Por qué el benchmark técnico no responde a la pregunta del CFO

El CFO no necesita saber si Claude supera a GPT-5.6 en razonamiento científico por 3 puntos en GPQA Diamond. Necesita saber qué modelo ejecuta las tareas de la operación real de la empresa al menor costo total, con el menor riesgo de interrupción y con previsibilidad presupuestaria.

La diferencia es de categoría, no de granularidad.

Un puntaje en MMLU dice si el modelo acierta más preguntas de conocimiento general. No dice nada sobre el costo de servir 50 mil llamadas de API por día con latencia inferior a 800 milisegundos. No calcula el costo de un fallback entre proveedores cuando la API principal sufre degradación. No calcula el impacto del tipo de cambio y los impuestos en la factura en moneda local.

Lo que le interesa al CFO son cuatro indicadores financieros. Cada uno ilumina una dimensión distinta del gasto en IA.

Los 4 indicadores financieros que miden un LLM

1. Costo por tarea ponderada (Weighted Cost per Task). El precio por token es el número que aparece en la página de pricing del proveedor. El costo por tarea es el número que aparece en la factura después de un mes de uso real. La diferencia entre ellos es donde desaparece el dinero: tokens de razonamiento que el modelo genera sin que el usuario los vea, prompts largos con baja densidad de instrucción, cache hits que no se están usando y respuestas verbosas que el output pricing cobra completo.

2. Inteligencia por dólar (Intelligence per Dollar). El costo bruto no existe en el vacío. Cada dólar gastado compra un nivel de precisión, latencia y completitud. Los modelos más baratos por token frecuentemente exigen más llamadas para llegar al mismo resultado, quemando el ahorro en volumen. La métrica correcta es el costo dividido por la tasa de éxito en la tarea específica. El CFO quiere la respuesta: cuánto cuesta resolver el 100% de los tickets de clasificación de documentos, no cuánto cuesta el millón de tokens.

3. TCO del stack de inferencia. El costo del modelo es una porción del costo total. El resto está en el middleware que enruta las llamadas, en la infraestructura de caché, en los mecanismos de fallback entre proveedores, en la capa de observabilidad y en el tiempo de ingeniería gastado rehaciendo integraciones cuando un modelo se descontinúa o cambia de precio. Las empresas que ejecutan LLMs sin una capa de enrutamiento pagan el precio completo de cada llamada y absorben el costo del downtime en cada fallo de API, como se detalla en el análisis sobre el Model Router como middleware esencial.

4. Payback del caso de uso. Cada implementación de LLM tiene un punto de equilibrio. Un agente de soporte que reemplaza el 30% del volumen del tier 1 tiene un payback calculable. Un generador de informes que reduce 12 horas semanales de un analista tiene otro. La tarea del CFO es modelar cada caso como una inversión con retorno esperado, comparar alternativas de modelo para el mismo caso y aprobar la que maximiza el retorno sobre el costo de inferencia.

[IMAGEM TECNICA type: comparison-table title: Indicadores Financieros de LLMs data: | | Indicador | Qué mide | Pregunta del CFO | Trampa común | |---|---|---|---| | Costo por tarea ponderada | Costo real por unidad de trabajo completada | ¿Cuánto estoy gastando por transacción procesada? | Confundir precio de lista (por token) con costo efectivo (por tarea) | | Inteligencia por dólar | Precisión entregada por unidad de costo | ¿Cuánto rendimiento estoy comprando con cada dólar? | Comparar costo sin normalizar por la tasa de éxito en la tarea | | TCO del stack | Costo total incluyendo middleware, caché, fallback e ingeniería | ¿Cuál es el costo completo de servir inferencia? | Mirar solo el pricing del modelo e ignorar la infraestructura alrededor | | Payback del caso de uso | Tiempo hasta que el retorno cubre la inversión en inferencia | ¿En cuántos meses se paga este agente? | Tratar LLM como costo fijo en vez de inversión con ROI | source: article section "Los 4 indicadores financieros que miden un LLM" language: es ]

La trampa del precio por token y lo que el costo real revela

Las tablas de precios de los proveedores cuentan una historia limpia. GPT-5.6 Terra cuesta X por millón de tokens de entrada. Claude Opus cuesta Y. DeepSeek V4 cuesta Z.

La factura cuenta otra historia.

El consumo real de una aplicación en producción incluye tokens de entrada que el sistema envía, tokens de salida que el modelo genera, tokens de razonamiento que los modelos reasoning producen en cadenas internas invisibles al usuario, tokens de cache write y cache hit (que cuestan valores distintos y reducen o inflan la cuenta según la arquitectura de prompts) y tokens de reintento cuando una llamada falla y el sistema rehace el request.

Un estudio de Artificial Analysis sobre costo real de inferencia muestra que el costo ponderado por tarea puede divergir del precio de lista por un factor de 2x a 5x, dependiendo del patrón de uso y del proveedor. El mismo informe indica que modelos con precios nominales cercanos pueden presentar costo efectivo radicalmente distinto cuando se miden en workloads reales.

El CFO que aprueba presupuesto basado en la página de pricing está aprobando una estimación. Quien paga la cuenta paga el costo por tarea medido en el stack.

Inteligencia por dólar: la métrica que los proveedores no publican

Los modelos de bajo costo por token seducen por la línea del pricing. Pero el ahorro desaparece cuando la precisión baja y el sistema necesita tres llamadas para resolver lo que un modelo más caro resuelve en una.

El cálculo es directo. Si un modelo de $1 por millón de tokens entrega 60% de tasa de éxito en la tarea objetivo, y otro de $5 por millón de tokens entrega 95%, la inteligencia por dólar favorece al segundo: el costo efectivo por tarea exitosa es $1,67 para el modelo barato ($1 / 0,60) contra $5,26 para el modelo caro ($5 / 0,95). El modelo barato gana en este caso.

Pero la ecuación se invierte cuando la tarea admite reintentos sin costo marginal alto. Si cada fallo puede corregirse con una segunda llamada, el costo del modelo barato sube a $1,67 (primera llamada) más $0,67 (segunda llamada en el 40% que falló, asumiendo que la segunda resuelve), totalizando $2,34 por tarea completada. En este escenario, el modelo barato gana con holgura.

El punto no es que un modelo sea siempre mejor. El punto es que la respuesta depende de la curva de precisión de la tarea específica, del costo de reintento y de la tolerancia al fallo del caso de uso. El CFO no necesita ejecutar estos cálculos. Pero sí necesita exigir que el equipo técnico los presente antes de la aprobación del presupuesto.

La tabla que el CFO debería pedir en la reunión de aprobación de presupuesto

La comparación financiera de LLMs no cabe en una tabla estática porque los precios cambian cada trimestre. Lo que sí cabe es un framework de evaluación que el equipo técnico complete con datos reales del workload de la empresa.

[IMAGEM TECNICA type: comparison-table title: Framework de Evaluación Financiera de LLMs data: | | Dimensión | Modelo A (Frontier) | Modelo B (Mid-tier) | Modelo C (Open-source hospedado) | |---|---|---|---| | Precio entrada (US$/1M tokens) | $3,00 | $0,60 | $0,20 (hospedaje) | | Precio salida (US$/1M tokens) | $15,00 | $2,40 | $0,60 (hospedaje) | | Tasa de éxito en la tarea objetivo | 96% | 82% | 74% | | Costo por tarea exitosa | $0,018 | $0,007 | $0,004 | | Costo por 100.000 tareas/mes | $1.800 | $700 | $400 | | Costo de fallback (5% fallos de API) | $250/mes | $250/mes | $400/mes (infra propia) | | Tiempo de ingeniería (integración + mantenimiento) | 20h/mes | 25h/mes | 80h/mes | | Costo total estimado (3 meses) | $6.900 | $3.600 | $10.200 | source: hypothetical workload simulation for 100k monthly tasks language: es ]

La tabla anterior es ilustrativa y usa datos simulados. Los precios de modelos en julio de 2026 están documentados en las páginas oficiales de OpenAI, Anthropic, Google y DeepSeek. La guerra de precios entre proveedores comprime márgenes cada trimestre. Lo que la tabla demuestra es el método: costo por tarea ponderada, TCO de tres meses incluyendo fallback e ingeniería, y precisión medida en el workload específico de la empresa.

El Modelo C, de código abierto hospedado en infraestructura propia, aparece como el más barato por tarea, pero el costo de ingeniería de mantenimiento y la menor precisión lo convierten en la opción más cara en el TCO trimestral. Es el tipo de dinámica que la página de pricing esconde y el framework financiero revela.

El modelo más caro por token suele ser el más barato

Esta afirmación es contraintuitiva. Y es verdadera en condiciones específicas que vale la pena entender.

El modelo frontier cuesta más por token. Pero también resuelve más tareas en el primer intento, genera menos tokens de salida porque es más preciso en la respuesta y requiere menos lógica de fallback y reintento. El costo de ingeniería para sortear las limitaciones de un modelo más débil no aparece en la factura de la API. Aparece en la nómina.

Las empresas que ejecutan LLMs en producción con márgenes operativos ajustados lo descubren en el segundo mes. El CFO aprueba el modelo barato basado en la diapositiva de pricing. Treinta días después, el costo de ingeniería para mantener la precisión por encima del 90% consume el ahorro de API y genera un gasto total mayor.

Nexforce Router resuelve parte de este problema con enrutamiento inteligente: una sola API distribuye cada request al modelo más adecuado en costo y rendimiento, incluyendo fallback automático entre proveedores. El costo por token baja sin sacrificar precisión porque las llamadas simples van a modelos baratos y las llamadas complejas van a modelos capaces. La decisión financiera deja de ser binaria (modelo caro o barato) y pasa a ser granular (cada request al modelo correcto).

¿Cuánto cuesta mantener un LLM en producción en América Latina?

La pregunta relevante para el CFO que opera en la región incluye una capa que no aparece en los benchmarks internacionales: la carga tributaria y cambiaria sobre la importación de servicios de IA.

Cada factura en dólares de API paga spread cambiario de 5% a 10%, impuesto a las transacciones financieras de 0,38% a 3,5% según el tipo de remesa, retención de impuesto a la renta de 15% (que puede llegar al 25% en jurisdicciones de tributación favorecida), contribución tecnológica de 10% sobre servicios técnicos y otros impuestos locales sobre el valor agregado con alícuotas combinadas que oscilan entre 9,25% y más del 20%.

El costo efectivo de una factura de US$ 100 mil en consumo de API puede llegar a US$ 155 mil después de impuestos, tipo de cambio y gravámenes. Una diferencia del 55% entre el precio que el proveedor publica y el valor que sale de la cuenta bancaria local.

Parte de esta carga es recuperable. Las empresas bajo regímenes no acumulativos pueden tomar crédito de impuestos al valor agregado sobre la importación, y el valor pagado de retención en la fuente es compensable en el ajuste anual. Pero el flujo de caja sufre: el impuesto sale al momento de la remesa y el crédito entra al cierre del período fiscal siguiente. El CFO que modela TCO de LLMs necesita incluir el efecto de descalce de caja en el costo financiero de la operación.

Cómo reducir el costo de LLMs sin cambiar de modelo

Cambiar de modelo es caro: reintegrar APIs, reescribir prompts, reevaluar precisión, recalibrar el sistema de fallback. La decisión de cambio es trimestral o semestral. Pero la optimización de costo es diaria.

Las cinco palancas que reducen el costo de LLMs sin cambiar el modelo elegido:

1. Enrutamiento por complejidad. No todo request necesita el modelo más caro. Clasificación de texto, análisis de sentimiento y respuestas triviales se ejecutan en modelos 10 a 50 veces más baratos con precisión equivalente. Un middleware de enrutamiento dirige cada llamada al modelo adecuado según la complejidad inferida.

2. Caché de prompts y respuestas. Requests repetidos o semánticamente similares no necesitan ser reprocesados. Un sistema de caché reduce el volumen de llamadas a la API en 20% a 40% en aplicaciones con alta recurrencia de prompts (soporte al cliente, búsqueda interna, chatbots). El caché tiene costo de almacenamiento, que es una fracción del costo de inferencia.

3. Optimización de prompts. La diferencia entre un prompt de 500 tokens y uno de 200 tokens, cuando ambos producen el mismo resultado, es un multiplicador directo en el costo. Cada token de entrada ahorrado reduce la factura en dos dimensiones: menos tokens procesados y menos tokens de salida generados (los modelos tienden a responder en proporción al input). La disciplina de ingeniería de prompts paga su propio salario.

4. Fallback automático entre proveedores. Cuando la API principal sufre degradación de latencia o disponibilidad, el sistema redirige las llamadas a un proveedor alternativo en milisegundos. El costo del downtime (tareas no procesadas, retrabajo, cola de requests acumulada) supera el costo del fallback por órdenes de magnitud.

5. Consolidación de proveedores en una sola API. Las empresas que contratan directamente múltiples proveedores pagan precio minorista en cada uno, absorben el costo cambiario en cada factura y gastan tiempo de ingeniería manteniendo múltiples integraciones. Nexforce Router consolida más de 300 modelos en una sola API con facturación local en moneda local. El ahorro reportado alcanza hasta 50% por token comparado con la contratación directa, con el beneficio adicional de eliminar el spread cambiario y los cargos de importación de cada factura individual.

Preguntas que el CFO debe hacer antes de aprobar el presupuesto de IA

¿El costo se está midiendo por tarea o por token?

Por token es la métrica del proveedor. Por tarea es la métrica del negocio. La respuesta correcta revela si el equipo técnico entiende la diferencia.

¿Cuál es la tasa de éxito del modelo en la tarea objetivo de la empresa?

Un modelo con 99% de precisión en el benchmark y 72% en la tarea específica de la empresa es una mala asignación de capital. El número que interesa es el de la tarea real, medido en producción.

¿Cuál es el costo de fallback y downtime por hora de interrupción?

Las APIs de LLM fallan. El costo financiero de la interrupción depende del volumen de tareas no procesadas, del costo de retrabajo y del impacto en SLAs con clientes. El CFO debe exigir este número modelado, no estimado.

¿El presupuesto incluye los costos indirectos de ingeniería y mantenimiento?

Integración, monitoreo, reescritura de prompts, actualización de modelos, ajuste de parámetros. Estos costos frecuentemente superan el costo de API en los primeros meses. Si no están en la hoja de cálculo, el TCO está subestimado.

¿La empresa está comprando modelos directamente de los proveedores o usando una capa de enrutamiento?

La respuesta define si la empresa paga precio minorista, asume múltiples integraciones y absorbe cada fallo de API individualmente, o si opera con una capa de optimización que reduce costo, riesgo y complejidad operativa.

Referencias y Lectura Complementaria

• Benchmark LLM: cómo evaluar y elegir el modelo correcto: enfoque técnico de evaluación (MMLU, HumanEval, throughput)
• DeepSeek V4: la guerra por el share de tokens en los agentes de IA: la compresión de precios en el mercado de LLMs
• Model Router: el middleware que falta en tu stack de IA: enrutamiento inteligente y optimización de costo de inferencia
• Artificial Analysis: Model Pricing & Cost Benchmarks: datos independientes de costo, velocidad e inteligencia por modelo
• OpenAI Pricing: precios oficiales actualizados de los modelos OpenAI
• Anthropic API Pricing: precios oficiales de los modelos Claude