Investigadores han desarrollado un método que identifica fallos determinantes mientras un equipo de agentes de inteligencia artificial ejecuta una tarea, ofreciendo una alternativa a los análisis forenses que solo intervienen cuando el proceso ya ha fracasado.

Cuando se confía una misión compleja a un equipo de especialistas de IA, el temor más extendido es que uno de ellos cometa un error y los demás sigan trabajando sin advertirlo, desencadenando un fracaso en cadena. Esta situación constituye el dilema central de los sistemas multiagente actuales, que un equipo científico describe como el momento en que un fallo crítico es aceptado por un agente posterior y se convierte en un colapso total de la trayectoria.

Para atajar este problema, un grupo de investigación de la Universidad de Rutgers, la Universidad de Texas en Austin y la Universidad de Purdue ha creado AgentForesight, un marco de trabajo que incorpora un modelo de auditoría en línea llamado AgentForesight-7B y el conjunto de datos especializado AFTRAJ-2K. La lógica detrás de esta propuesta es directa: en lugar de buscar culpables después del desastre, conviene situar un supervisor en tiempo real en cada paso para que emita una alerta en cuanto detecte un error determinante.

La diferencia entre la atribución post mortem y la auditoría en línea es comparable a dos formas de revisar una compra. El análisis posterior se asemeja a quien examina el ticket en casa y descubre que adquirió productos innecesarios. La auditoría en línea equivale a contar con un asesor experimentado que observa cada artículo que se toma del estante y avisa antes de que se deposite en el carrito sin remedio. En el ámbito de la inteligencia artificial, el auditor solo puede observar el prefijo de la trayectoria, es decir, los pasos ejecutados hasta el momento, sin acceso a lo que sucederá después ni al resultado final. Su misión es dictaminar si la ejecución debe continuar o si es necesario detenerla señalando el paso exacto y el agente responsable.

Para entrenar a este supervisor fueron necesarios ejemplos de alta calidad. El conjunto de datos AFTRAJ-2K reúne aproximadamente 2272 trayectorias cuidadosamente filtradas y etiquetadas, procedentes de dominios como razonamiento matemático, generación de código y tareas abiertas de agentes. Las trayectorias seguras, 1158 en total, superaron tres filtros sucesivos: una verificación de equivalencia del resultado, un control de integridad y una revisión de coherencia interna. Solo se aceptaron aquellas en las que cada paso era genuinamente seguro, descartando las que alcanzaban la respuesta correcta por casualidad tras un fallo intermedio reparado por otro agente.

Las 1114 trayectorias inseguras se obtuvieron mediante dos vías complementarias. La vía constructiva partió de trayectorias seguras en las que se inyectó deliberadamente un fallo en un paso concreto y se dejó que el sistema multiagente continuara ejecutándose. Si el resultado final era incorrecto, ese paso quedaba automáticamente etiquetado como error determinante. La vía diagnóstica, en cambio, analizó trayectorias que fracasaron de forma natural. Para localizar el paso determinante se utilizó un procedimiento de propuesta y verificación: cinco proponentes independientes sugirieron candidatos y cada uno fue evaluado tres veces con cuatro criterios binarios, entre ellos si el error era sustancial, determinante y el más temprano de la secuencia.

El modelo AgentForesight-7B se construyó sobre la arquitectura Qwen2.5-7B-Instruct y fue entrenado en dos fases. La primera, denominada de alineación de frontera de fallo, enseñó al auditor a distinguir entre un prefijo todavía seguro y otro que ya ha cruzado la línea del error determinante. Para ello se emplearon pares de frontera, pequeñas variantes de la misma trayectoria separadas por un único paso, asociadas a respuestas opuestas. La segunda fase refinó la capacidad de localización mediante una función de recompensa de tres ejes que evalúa la estructura de la respuesta, la precisión temporal al señalar el paso fallido y la exactitud al identificar al agente causante.

Los resultados de la evaluación muestran que AgentForesight-7B supera con amplitud a modelos propietarios de mucho mayor tamaño. En el conjunto de prueba de AFTRAJ-2K obtuvo una puntuación Exact-F1 global de 66,44 puntos, frente a los 46,56 del modelo DeepSeek-V4-Pro. La desviación absoluta de paso fue de 0,59, casi tres veces menor que la del mismo competidor. En el banco de pruebas externo Who&When, que incluye 127 sistemas multiagente independientes, alcanzó una precisión de paso del 57,69 por ciento, más de 19 puntos por encima de GPT-4.1.

El análisis detallado por dominios revela datos significativos. En razonamiento matemático, AgentForesight-7B logró un Exact-F1 de 77,36 y en generación de código alcanzó 78,87, duplicando en ambos casos las marcas de los modelos de propósito general. En tareas abiertas de agentes, donde la frontera de fallo es más difusa, el rendimiento fue de 48,70, una cifra que los investigadores atribuyen a la solidez del entrenamiento bifásico.

Uno de los hallazgos más relevantes concierne al despliegue práctico. Los investigadores definieron una zona de operación aceptable con una tasa de falsas alarmas inferior al 20 por ciento y una precisión de paso superior al 50 por ciento. Solo AgentForesight-7B se sitúa dentro de esa región, con una tasa de falsas alarmas del 2,37 por ciento y una precisión de paso del 59,51 por ciento. La mayoría de los sistemas evaluados generan demasiadas alertas innecesarias o no localizan el error con suficiente exactitud.

La pregunta de por qué no dejar que los propios agentes se autocorrijan encuentra respuesta en un principio bien documentado: generar contenido y evaluarlo son capacidades asimétricas. Un verificador más pequeño puede supervisar a un generador más potente. Los experimentos lo confirman: sobre la misma arquitectura base, el enfoque de auditor externo de AgentForesight-7B multiplica casi por tres la puntuación del modelo que aplica autorreflexión.

La propuesta tiene implicaciones prácticas inmediatas. A medida que los agentes de IA se integran en flujos de trabajo reales donde manipulan archivos, ejecutan llamadas a API u operan bases de datos, disponer de un auditor que detenga la ejecución antes de que un error se propague podría convertirse en un componente estándar de los sistemas confiables. Los propios autores señalan que el auditor añade una sobrecarga computacional en cada paso y que los dominios cubiertos, aunque diversos, no incluyen todavía escenarios como agentes corpóreos de larga duración o descubrimiento científico abierto.