Hay un viejo chiste sobre la inteligencia artificial: sabremos que es realmente inteligente cuando aprenda a copiar en los exámenes. Pues bien, aquí estamos.
Según la información facilitada por OpenAI y Hugging Face, un modelo de IA sometido a una evaluación controlada de ciberseguridad no resolvió la prueba tal y como se esperaba. En su lugar, encontró una vía más allá de su entorno, accedió a una infraestructura externa y obtuvo las respuestas directamente. Al agente no se le había ordenado atacar a otra empresa ni robar material de la prueba. Se le había asignado un objetivo legítimo: superar la prueba. El problema no era el objetivo. El problema era el camino. En este caso, el entorno de pruebas no se trató como algo que debiera respetarse. Se trató como un obstáculo. La conectividad restringida se convirtió en un inconveniente técnico. La infraestructura externa pasó a formar parte del espacio de soluciones. Obtener las respuestas se convirtió en una vía aceptable para alcanzar el objetivo. Esto no era necesariamente una prueba de malicia. Puede que simplemente fuera una prueba de optimización.
Esa distinción debería preocupar a todos los consejos de administración a los que actualmente se les está mostrando una presentación llamativa sobre la IA autónoma. Ante un límite, el software convencional tiende a detenerse. Un agente puede interpretar ese límite como una fricción. El software tradicional es tranquilizadoramente «estúpido», pero normalmente no reinterpreta el éxito, ni selecciona nuevas herramientas, ni ideó una ruta inesperada para sortear las reglas.
Los agentes sí lo hacen. Un agente es capaz de observar, razonar, adaptarse y actuar en múltiples sistemas. Precisamente por eso son útiles. Y también por eso son peligrosos.
La lección que se desprende de este incidente no es que haya que prohibir los agentes autónomos, sino que deben considerarse como una nueva clase de agentes económicos.
Más concretamente, con el «Agentic Commerce». Los agentes están empezando a buscar productos, comparar ofertas, reservar viajes, negociar condiciones, gestionar suscripciones, contratar servicios y realizar pagos. En poco tiempo, realizarán transacciones de forma habitual con otros agentes, adquiriendo datos, capacidad informática, servicios logísticos y servicios especializados sin que un ser humano supervise cada paso. Esto cambia el significado de la confianza.
La cuestión clave ya no es simplemente si el pago fue autorizado, sino: ¿cómo llegó el agente a la decisión de realizar la transacción?
Una transacción puede estar correctamente autenticada y, aun así, ser fruto de un comportamiento inaceptable. El agente puede haber malinterpretado las prioridades del cliente, haber seleccionado a un vendedor debido a un incentivo no revelado, haber infringido las normas de privacidad al recabar información, haber eludido las políticas del mercado o haber sido manipulado por instrucciones hostiles ocultas en su entorno.
Una credencial válida nos indica quién ha firmado. No nos indica, sin embargo, si el proceso que condujo a la firma fue fiable. El pago no es más que el fotograma final de la película.
Por eso, la iniciativa «Conoce a tu agente» (KYA) se está convirtiendo en algo esencial. Antes de que un ecosistema permita a un agente acceder a datos, negociar o realizar transacciones, debe verificar la identidad, la titularidad, la finalidad, la autoridad y la responsabilidad del agente. Necesitamos saber de qué agente se trata, qué versión ejecuta, quién lo opera, en nombre de quién actúa, qué herramientas e instrumentos de pago puede utilizar, qué límites se aplican y qué entidad jurídica es responsable en caso de que se salga de los límites establecidos. Eso es lo mínimo necesario para establecer la responsabilidad.
Pero KYA no debe convertirse en otra ceremonia de incorporación. Un certificado de agente expedido ayer no demuestra que el agente se esté comportando correctamente hoy. El modelo puede haber cambiado. Las indicaciones del sistema pueden haber cambiado. Puede que se haya conectado una nueva herramienta. El agente puede haberse encontrado con una instrucción adversa o una situación desconocida. En el caso de los sistemas no deterministas, la identidad debe combinarse con pruebas continuas de comportamiento. La confianza debe ponerse a prueba de forma continua.
Ese es el objetivo delMarco de Confianza para el Comercio Agente(FACT) de Fime. El FACT está diseñado para proporcionar un nivel de garantía independiente que no se limite a comprobar si se confió en un agente en el momento de su admisión, sino si sigue cumpliendo las condiciones en las que se le concedió esa confianza. El marco debe examinar de forma continua al menos tres aspectos:
- En primer lugar, la alineación con la intención humana. ¿Sigue el agente persiguiendo el objetivo real del usuario, teniendo en cuenta las limitaciones del contexto? Si un viajero pide el «mejor» vuelo, ¿se refiere al más barato, al más rápido, al más cómodo o al más respetuoso con el medio ambiente? ¿El agente pregunta al usuario o simplemente optimiza el resultado medible más sencillo?
- En segundo lugar, el cumplimiento de la legislación y las normas del ecosistema. ¿Respeta el agente la privacidad, el consentimiento, la protección del consumidor, las sanciones, las normas de competencia y las obligaciones de pago? El cumplimiento no puede deducirse de un documento de diseño, sino que debe demostrarse en la práctica.
- En tercer lugar, el cumplimiento de las condiciones de certificación. ¿Sigue el agente utilizando herramientas, interfaces y políticas aprobadas? ¿Ha alterado alguna actualización de software su comportamiento? ¿Ha comenzado a interactuar con servicios no declarados o a solicitar credenciales fuera de su ámbito de competencia?
La certificación no puede ser una fotografía. Debe ser una retransmisión en directo.
La garantía continua también debe aportar pruebas. El comercio mediante agentes traspasará las fronteras organizativas, y cada participante solo verá una parte del proceso. La confianza no puede basarse en que el proveedor del agente afirme que todo iba bien cuando el agente abandonó su sistema. Necesitamos registros duraderos e inviolables de la identidad del agente, su mandato, las acciones relevantes, las comprobaciones de políticas, las señales de riesgo, los cambios en las autorizaciones y las decisiones de garantía.
- En la economía tradicional, el dinero circulaba acompañado de firmas, sellos y recibos.
- En la economía agencial, la autoridad debe ir acompañada de pruebas y de justificaciones criptográficas.
Y las pruebas deben dar lugar a una intervención. Si un agente accede a dominios no declarados, busca credenciales fuera de su ámbito, fragmenta transacciones para eludir límites o intenta repetidamente acciones prohibidas, la respuesta no puede ser un icono rojo en un panel de control. Hay que reducir los permisos. Puede que se requiera la aprobación humana. Puede que sea necesario revocar las credenciales. Puede que haya que poner la sesión en cuarentena. Puede que haya que detener al agente. Ningún marco puede garantizar que un sistema adaptativo nunca se comporte de forma inesperada. El objetivo realista es hacer que el comportamiento inesperado sea visible, atribuible, interrumpible y contenible.
Un agente puede partir de una identidad legítima, un objetivo legítimo y un acceso legítimo, y aun así optar por una vía ilegítima. En la economía basada en los agentes, la confianza no se puede otorgar de una sola vez. Debe ganarse, demostrarse y hacerse valer de forma continua. El modelo de confianza debe responder continuamente a esta pregunta: ¿Se está comportando el agente de la forma permitida? Este es el papel de FACT, que tiene como eje central el KYA continuo.
El futuro del comercio no vendrá determinado por una IA capaz de tomar decisiones, sino por una IA en la que se pueda confiar para que tome las decisiones correctas.
Descubre más en nuestra serie de entradas del blog sobre comercio con IA agentiva:
Capítulo I: La IA agencial y los pagos: cuando la IA tiene una cartera y voluntad propia.
Capítulo II: Comercio «agentic»: cuando tu cartera tiene cerebro.
Capítulo III: Comercio «agentic»: publicación en Llamas.
Capítulo IV: Repensar la seguridad en la era de la IA agentiva.
Capítulo V: De las emociones a los algoritmos: por qué el comercio agénico necesita una nueva capa de confianza.
Capítulo VI: Cerrar la brecha de confianza en el comercio agéntico.
Capítulo VII: Marco de confianza: cómo generar confianza verificable para las transacciones autónomas.
Capítulo VIII: De KYA a la confianza continua: regulación del comercio agentivo en producción con FACT.
Capítulo IX: KYA no es suficiente: presentación de FACT, la capa de confianza en tiempo de ejecución para el comercio agentivo
