Todas las notas

El arnés, no el modelo: dónde se gana la confiabilidad de un agente

Cuando un agente falla en producción, casi nunca es culpa del modelo. Es del arnés: el bucle de decisión, las herramientas, el contexto y los límites que lo rodean. Esa es la parte que se construye, se mide y se queda.

Qué es un arnés

Un modelo de lenguaje, por sí solo, es una función: entra texto, sale texto. No sabe qué es tu ERP, no reintenta cuando una API se cae, no tiene permisos, no deja registro y no recuerda que hace diez minutos ya emitió esa orden.

El arnés es todo lo que convierte esa función en un trabajador. En la práctica se compone de cosas bastante concretas:

  • El bucle de decisión: cuándo el agente actúa, cuándo vuelve a observar y cuándo se detiene.
  • Las herramientas que puede usar, cada una con su contrato de entrada y salida y sus casos de error.
  • El armado del contexto: qué ve el modelo en cada paso, y cómo se le entrega sin desbordarlo.
  • Los permisos y los topes: qué sistemas puede tocar, con qué alcance y hasta qué monto.
  • Los reintentos y los tiempos de espera para cuando la operación —no el modelo— falla.
  • La traza de cada decisión y cada acción, atribuible y auditable después del hecho.
  • Los umbrales de escalamiento: en qué punto el agente para y le pasa el control a una persona.

Nada de eso viene con el modelo. Todo eso se diseña, se escribe y se prueba.

Por qué el modelo casi nunca es el problema

Los modelos de frontera mejoran cada pocos meses y, en la punta, son bastante intercambiables. Dos equipos con el mismo modelo obtienen resultados que no se parecen en nada. La diferencia está en el arnés.

Vale la pena mirar las fallas típicas de un agente en producción y preguntarse de quién son:

  1. Emitió dos veces la misma orden de compra. No es del modelo: es un problema de estado y de contexto.
  2. Se quedó pegado reintentando una llamada que fallaba por una razón corregible. Es un problema de reintentos y tiempos de espera.
  3. Hizo algo que nadie había autorizado. Es un problema de permisos y de alcance.
  4. Nadie puede explicar por qué decidió lo que decidió. Es un problema de trazabilidad.
  5. Empeoró después de una actualización de modelo y nadie se dio cuenta en tres semanas. Es un problema de evaluaciones.

Ninguna de esas cinco se arregla cambiando de modelo. Todas se arreglan en el arnés.

El arnés es el activo

Esto tiene una consecuencia práctica para quien está decidiendo dónde invertir. El modelo es un insumo que se reemplaza; el arnés es lo que queda instalado en la organización.

Cuando el arnés está bien construido, cambiar de modelo deja de ser una migración y pasa a ser una decisión medible: se corre la suite de evaluación contra el modelo nuevo, se comparan los resultados y se decide con evidencia. Sin arnés, cada cambio de modelo es un salto de fe.

Y hay un segundo efecto, menos evidente: el segundo agente cuesta una fracción del primero. Las herramientas, las integraciones y la infraestructura de evaluación ya están construidas. Lo caro del primer agente casi nunca es el agente.

Cómo lo abordamos

En AgentiCo One el arnés es explícitamente el producto. El orden que seguimos importa tanto como las piezas: primero se define qué decide el agente y qué queda fuera; después se fija con los expertos del dominio qué respuesta es correcta y eso se vuelve la suite de evaluación; recién entonces se integra a los sistemas, con permisos acotados y traza completa; y queda operando con monitoreo y regresión automática ante cada cambio.

Definir el criterio de corrección antes de integrar es lo que separa un agente que se puede desplegar de una demo que nadie se atreve a conectar a la facturación.

En una línea

El modelo es el motor. El arnés es el vehículo. Nadie cruza un país en un motor.

¿Qué agente quieres construir primero?

Cuéntanos el proceso y te decimos si un agente puede tomarlo, qué habría que medir y cuánto demora la primera versión en producción.