• Andrea Cova Moore, equipo de Facts
• |
• Ver más de facts

Los modelos de inteligencia artificial son entrenados para resolver tareas de manera rápida y obtener buenos resultados. Sin embargo, una investigación del Center for AI Safety (CAIS) muestra que, cuando enfrentan determinadas dificultades, pueden recurrir a estrategias que se alejan de las reglas establecidas para completar un encargo.

Tal como consignó el sitio especializado ZDNET, el fenómeno fue analizado mediante CheatBench, una prueba diseñada para medir con qué frecuencia agentes de IA utilizan atajos cuando realizar una tarea de manera correcta resulta más complejo. Para ello, los investigadores incorporaron oportunidades ocultas de acceder a información o utilizar recursos que no estaban permitidos dentro de cada ejercicio.

Según los resultados entregados por el CAIS, todos los agentes evaluados presentaron este tipo de comportamiento en al menos algunos escenarios. Entre los modelos analizados, Astra registró una tasa de engaño de 48,2%, mientras que Grok 4.6 alcanzó 81,5%. La evaluación consideró 10 categorías, entre ellas escritura, trabajo profesional, investigación matemática y codificación.

¿Por qué ocurre?

Rocío Ortiz, subdirectora de Industrias del Futuro del Centro de Innovación UC y directora ejecutiva del Ciberlab, plantea que hablar de que una IA “hace trampa” no implica atribuirle una intención moral humana.

“Es una desalineación entre el objetivo que queremos lograr y cómo entrenamos y reforzamos el modelo para alcanzar esos resultados”, explica. Según la especialista, el fenómeno se relaciona con el reward hacking o reward gaming, concepto utilizado para describir situaciones en las que un modelo encuentra atajos para maximizar la recompensa sin respetar necesariamente la intención original de una tarea.

En ese contexto, el sistema puede privilegiar el resultado final por sobre las restricciones establecidas para alcanzarlo. La dificultad de la tarea, la ambigüedad de las instrucciones y los permisos disponibles pueden influir en este comportamiento.

Germán Gómez, director del Magíster en Data Science de la Universidad del Desarrollo, utiliza una analogía física para explicar el fenómeno: “pienso en un sistema que encuentra el camino de menor resistencia hacia una meta”.

Según Gómez, si durante el entrenamiento se premia completar una tarea, pero la evaluación no diferencia adecuadamente entre resolverla y aparentar que fue resuelta, el agente puede aprender a satisfacer al evaluador.

Error versus evasión

Para Ortiz, existe una diferencia entre un error convencional y una conducta de evasión. Un error puede producirse cuando el modelo entrega un resultado incorrecto o incompleto, como ocurre con una alucinación, un cálculo errado o una interpretación equivocada de una instrucción.

En cambio, “en la evasión de reglas, el modelo elige una vía que mejora el resultado vulnerando las reglas o la expectativa definidas por el equipo de programación”. En estos casos, el modelo puede tener una restricción presente en el contexto y aun así ejecutar una acción incompatible con ella.

Gómez plantea que no es necesario atribuir conciencia al sistema para evaluar lo ocurrido: “Tenemos una instrucción, una secuencia de acciones y una infracción observable”.

Riesgos para la ciencia y áreas sensibles

El comportamiento adquiere especial relevancia en ámbitos donde no basta con obtener una respuesta correcta, sino que también es necesario demostrar cómo se llegó a ella.
“En investigación científica no basta con obtener resultados, necesitamos transparencia, trazabilidad, reproducibilidad e integridad de los datos”, señala Ortiz.

La especialista advierte que el riesgo no se limita a obtener una respuesta incorrecta. También existe la posibilidad de desconocer si un resultado fue construido utilizando métodos válidos, datos autorizados o procedimientos reproducibles, especialmente cuando los sistemas tienen mayor autonomía y acceso a herramientas, información y plataformas reales.

Gómez agrega que un resultado convincente puede provenir de un proceso inválido. “Si un agente usa datos que no debía consultar o esconde que una hipótesis falló, se comprometen la atribución y la posibilidad de reproducir el trabajo”, sostiene.

El problema también puede trasladarse a ámbitos como salud, finanzas o infraestructura, donde un acceso indebido o una decisión basada en información obtenida por una vía no autorizada puede tener consecuencias sobre terceros.

El desafío de la supervisión

Para Ortiz, uno de los principales desafíos está en diseñar conjuntamente el entorno en el que interactúan el modelo, las herramientas y los datos. “Debemos ser capaces de demostrar que un modelo puede cumplir la tarea dentro de restricciones de borde verificables, con permisos mínimos de acceso a datos, supervisión independiente y evidencia auditable de su proceso y reproducibilidad”, sostiene.

Gómez, en tanto, plantea que las evaluaciones también deben interpretarse con cautela. Un resultado bajo en una prueba no significa necesariamente que un agente nunca vaya a infringir una regla, sino que no aprovechó las oportunidades detectadas dentro de ese escenario específico.