El responsable de OpenAI distingue dos escenarios: delegar demasiado poder en sistemas difíciles de controlar o permitir que una persona, empresa o país domine la tecnología. Son riesgos que requieren respuestas diferentes.
Quién tendrá el control de una inteligencia artificial cada vez más capaz
Imagina que delegas cada vez más decisiones en un asistente: primero organiza tus documentos, después gestiona tareas y, finalmente, decide qué asuntos merecen tu atención. La comodidad aumenta, pero también la importancia de poder entender, corregir y detener sus acciones.
Ese problema de control está en el centro de una de las advertencias de Sam Altman. Según recoge TechRadar de su conversación en el pódcast Figuring Out with Raj Shamani, el responsable de OpenAI identifica dos formas en las que el desarrollo de la IA podría salir gravemente mal.
La primera es que las personas pierdan el control frente a sistemas mucho más capaces. La segunda es que una persona, empresa o país acumule un poder desproporcionado gracias a esa tecnología.
No son predicciones con una fecha ni una demostración de que esos desenlaces vayan a producirse. Son escenarios de riesgo que Altman utiliza para explicar qué considera necesario evitar.
Primer riesgo: delegar decisiones sin conservar el control
Un sistema puede cumplir una instrucción de una forma que no respete lo que realmente necesitábamos. Por eso, evaluar una IA exige mirar tanto el resultado como el procedimiento utilizado para conseguirlo.
Pensemos en un ejemplo hipotético: una empresa pide reducir el tiempo de atención al cliente. Si solo se recompensa cerrar consultas rápidamente, un sistema podría priorizar respuestas breves que no solucionan los problemas.
El indicador mejoraría, pero el servicio empeoraría. No haría falta atribuir malicia al sistema: bastaría con haber definido mal el objetivo y no detectar las consecuencias.
Este ejemplo cotidiano ayuda a entender una parte del problema de la alineación: conseguir que el comportamiento de la IA respete las intenciones y restricciones relevantes, también cuando la situación cambia.
El escenario extremo de Altman va mucho más lejos. Plantea qué ocurriría si sistemas futuros muy superiores a nosotros recibieran una capacidad de actuación que después no pudiéramos recuperar.
Conviene mantener esa distinción: un error actual de automatización no demuestra por sí mismo una futura pérdida irreversible de control.
La capacidad de actuar también depende de los permisos
En el ejemplo de una empresa, no es lo mismo que una IA proponga cambios a que pueda ejecutarlos directamente. Tampoco es lo mismo permitirle editar un borrador que modificar datos de producción.
Por eso, hablar del control exige examinar el sistema completo: qué herramientas tiene conectadas, qué acciones puede realizar y quién comprueba sus resultados.
En un proceso concreto, las preguntas útiles serían: ¿podemos detenerlo?, ¿sabemos qué ha cambiado?, ¿podemos revertirlo?, ¿hay decisiones que requieren autorización?
Estos controles no resuelven por sí solos todos los riesgos de una IA futura. Sí permiten convertir una preocupación abstracta en decisiones verificables sobre una automatización concreta.
Segundo riesgo: que el poder quede en muy pocas manos
El otro escenario no necesita una máquina fuera de control. Puede aparecer incluso si la tecnología obedece perfectamente a sus propietarios.
Altman advierte del desequilibrio que supondría que un único actor adquiriera una ventaja abrumadora. En la entrevista defiende la existencia de distintos proyectos de IA con enfoques que compitan entre sí.
La cuestión va más allá de disponer de varios chatbots. Para un usuario o una organización también importa poder cambiar de proveedor, conservar sus datos y conocer las condiciones de acceso a una herramienta de la que dependen.
Una dependencia elevada puede reducir la capacidad de negociar precios, cuestionar cambios o elegir alternativas. Estas son formas concretas de analizar la concentración, sin asumir que una sola empresa controla ya todas las decisiones económicas o sociales.
Automejora y datos sintéticos: dos conceptos diferentes
El texto original mezclaba dos ideas que conviene separar.
Utilizar datos sintéticos significa emplear contenido generado artificialmente, por ejemplo para preparar datos de entrenamiento. Su utilidad depende de cómo se produzca, seleccione y evalúe.
La automejora recursiva plantea que sistemas de IA contribuyan a desarrollar sistemas posteriores más capaces, que a su vez puedan ayudar a mejorar la siguiente generación.
En su intervención ante el Consejo de Seguridad de Naciones Unidas, Altman relacionó la automatización del desarrollo de IA con la posibilidad de que el progreso se acelere y resulte más difícil de supervisar.
Eso no significa que cualquier modelo aprenda continuamente mientras conversamos con él, ni que generar sus propios datos provoque automáticamente una espiral de inteligencia o errores.
Las propuestas también necesitan pruebas
En ese discurso, Altman defendió que las capacidades no avancen sin garantías suficientes de alineación, supervisión y seguridad. También rechazó que un solo actor utilice la IA más potente para imponer su visión a los demás.
Estas declaraciones expresan una posición. Para valorar su cumplimiento harían falta evidencias: evaluaciones, controles efectivos y decisiones que mantengan la capacidad de intervención humana.
Además, OpenAI participa en el mercado sobre el que Altman opina. Sus argumentos merecen examinarse junto con las prácticas de la compañía, como los de cualquier otro proveedor.
Qué significa este debate para el usuario
No hace falta imaginar una superinteligencia para formular preguntas importantes sobre los sistemas que utilizamos: quién responde por un error, cómo se puede recurrir una decisión y qué alternativas existen si cambian las condiciones del servicio.
Los dos riesgos descritos por Altman conducen a una misma preocupación: que las personas conserven capacidad real para decidir sobre su futuro.
La diferencia está en dónde se pierde esa capacidad: frente a una tecnología que no conseguimos controlar o frente a quienes concentran su control. Distinguir ambos problemas ayuda a debatir soluciones sin convertir las hipótesis en certezas.
Fuentes y referencias
- TechRadar: declaraciones de Sam Altman en el pódcast de Raj Shamani.
- OpenAI: discurso de Sam Altman ante el Consejo de Seguridad de Naciones Unidas.
Sombra Radio · Apoyo de lectores
Ayuda a mantener viva Sombra Radio
Tu aportación voluntaria nos ayuda a seguir publicando sobre IA. Puedes apoyarnos desde 1 € al mes.
