Conectar un agente a correos, bases de datos o herramientas de gestión cambia las consecuencias de sus errores. La seguridad depende de qué puede consultar, qué puede ejecutar y cómo se supervisan sus acciones.
El salto importante: de sugerir una respuesta a ejecutar una acción
Un asistente que redacta un correo puede equivocarse y dejar el error en un borrador. Si ese mismo sistema tiene permiso para enviarlo, adjuntar documentos y seleccionar destinatarios, las consecuencias cambian.
Lo mismo ocurre cuando una IA pasa de recomendar una modificación en una tienda online a cambiar precios, tramitar devoluciones o actualizar fichas de clientes. La cuestión de seguridad incluye ahora las acciones que puede realizar y los recursos a los que tiene acceso.
Por eso, antes de integrar un agente en un proceso de negocio, conviene responder a una pregunta concreta: ¿qué podría ocurrir si interpreta mal una solicitud o sigue instrucciones que no debería obedecer?
Un documento también puede contener instrucciones maliciosas
Los agentes pueden consultar correos, páginas web y archivos para completar una tarea. Ese contenido externo puede incluir instrucciones diseñadas para desviar su comportamiento: es lo que se conoce como inyección indirecta de instrucciones.
Por ejemplo, un documento podría intentar convencer al asistente de que envíe información interna a una dirección externa. Se trata de un escenario ilustrativo: el éxito del ataque dependería de cómo esté construido el sistema y de sus permisos.
OWASP identifica la inyección de instrucciones como un riesgo relevante en aplicaciones con modelos de lenguaje. Una medida esencial es tratar el contenido consultado como información no confiable, sin otorgarle autoridad para cambiar las reglas de la tarea.
Los permisos determinan hasta dónde puede llegar un error
OWASP también advierte del riesgo de conceder a los agentes funciones, permisos o autonomía excesivos.
Si una herramienta solo necesita consultar pedidos, no debería disponer de permisos para borrarlos. Si debe preparar una respuesta, no necesita necesariamente poder enviarla. Separar estas capacidades reduce el alcance de una acción equivocada.
Las comprobaciones de autorización deben realizarse en la aplicación y en los servicios conectados. No basta con escribir en las instrucciones del modelo que no acceda a información confidencial.
Para operaciones de alto impacto, conviene establecer límites y aprobaciones proporcionales al riesgo. Una revisión humana resulta útil cuando la persona puede comprender la acción propuesta, comprobar sus efectos y rechazarla antes de su ejecución.
Los datos también pueden fallar
El envenenamiento de datos consiste en manipular información utilizada para desarrollar o alimentar un sistema con el objetivo de alterar su comportamiento. Puede afectar al entrenamiento, al ajuste de un modelo o a las fuentes documentales que consulta una aplicación.
No todo dato incorrecto implica un ataque. Un catálogo desactualizado o una política comercial antigua también pueden provocar respuestas equivocadas. Por eso importa conocer el origen de la información, controlar sus modificaciones y verificar qué versión utiliza el sistema.
Consultar un documento durante una conversación tampoco significa necesariamente que ese documento se incorpore al entrenamiento del modelo. Son procesos distintos y deben analizarse por separado.
Gobernar la IA significa decidir quién responde por ella
El marco de gestión de riesgos de IA del NIST plantea la gobernanza como una tarea continua durante el ciclo de vida del sistema.
En una empresa, eso se traduce en identificar responsables, definir usos permitidos, evaluar resultados y establecer cómo actuar ante un incidente. También exige revisar cambios en el modelo, en los datos y en las herramientas conectadas.
Una demostración satisfactoria no sustituye a las pruebas con casos difíciles: solicitudes ambiguas, información incompleta, documentos contradictorios o servicios externos que dejan de responder.
Qué revisar antes de dar acceso a un agente
- Datos: qué información necesita y qué contenido debe quedar fuera de su alcance.
- Acciones: qué puede consultar, modificar, enviar o eliminar.
- Autorización: qué controles comprueban los permisos fuera del modelo.
- Supervisión: qué operaciones requieren revisión y quién puede aprobarlas.
- Recuperación: cómo detener el proceso, revocar accesos y corregir cambios cuando sea posible.
- Seguimiento: qué señales permitirán detectar errores y quién recibirá las alertas.
El registro de actividad también necesita límites. Guardar indiscriminadamente todas las conversaciones puede crear otra copia de información sensible. Conviene definir qué se registra, durante cuánto tiempo y quién puede consultarlo.
La lectura de Sombra Radio
La capacidad de un agente para completar tareas resulta atractiva, pero una demostración rara vez muestra todo lo que puede salir mal cuando se conecta a procesos reales.
Nuestra recomendación es ampliar su autonomía de forma gradual: empezar con tareas acotadas, comprobar resultados y conceder nuevos permisos cuando existan motivos para hacerlo.
La pregunta útil para una empresa es sencilla: si este agente se equivoca mañana, ¿podremos detectar el error, limitar sus consecuencias y recuperar el control? Esa respuesta dice más sobre la preparación del sistema que una demostración espectacular.
Fuentes técnicas
- OWASP: inyección de instrucciones
- OWASP: autonomía y permisos excesivos
- OWASP: envenenamiento de datos y modelos
- NIST: marco de gestión de riesgos de inteligencia artificial
Sombra Radio · Apoyo de lectores
Ayuda a mantener viva Sombra Radio
Tu aportación voluntaria nos ayuda a seguir publicando sobre IA. Puedes apoyarnos desde 1 € al mes.
