Clément Delangue, CEO de Hugging Face, sitúa cerca de cero su estimación del riesgo existencial de la IA y defiende el desarrollo abierto. La posibilidad de examinar y modificar modelos facilita la investigación, aunque también plantea dificultades para controlar sus usos.
Qué ha dicho el responsable de Hugging Face
Clément Delangue considera que la probabilidad de que la inteligencia artificial provoque la extinción humana es «cercana a cero». Según la cobertura de WIRED de su intervención en el evento World Fair, el CEO de Hugging Face defendió la participación de un ecosistema abierto para identificar y mitigar riesgos. También advirtió sobre la concentración del desarrollo en unas pocas empresas.
Se trata de su valoración personal sobre un escenario futuro. Sus declaraciones no aportan una medición que demuestre que publicar un modelo elimina la posibilidad de una catástrofe.
Qué significa que una IA sea abierta
La apertura tiene distintos grados. Un proyecto puede compartir el código que ejecuta el modelo, sus pesos, documentación o información sobre el entrenamiento. Cada componente permite examinar aspectos diferentes.
Los pesos son los parámetros numéricos que el modelo adquiere durante el entrenamiento. Poder descargarlos permite ejecutar y adaptar el sistema, pero no implica disponer de todos los datos con los que aprendió.
El informe de la Administración Nacional de Telecomunicaciones e Información de Estados Unidos, NTIA, publicado en 2024, distingue expresamente esas capas de apertura. También explica que la documentación puede aportar transparencia incluso cuando determinados componentes permanecen restringidos.
La ventaja de poder investigar un fallo
Imaginemos que un asistente de atención al cliente interpreta mal una solicitud de devolución. Si el equipo puede ejecutar el modelo en un entorno propio, tiene la posibilidad de repetir el caso, comparar versiones y estudiar cómo afectan distintas configuraciones.
Esa capacidad facilita una investigación independiente. Para convertirla en una mejora hacen falta personas con tiempo, conocimientos y recursos para diseñar pruebas, interpretar resultados y mantener las correcciones.
Que un proyecto esté publicado permite revisarlo. Saber si ha sido revisado, por quién y con qué resultados exige consultar las evaluaciones y la actividad de mantenimiento.
La apertura también facilita usos perjudiciales
La NTIA señala que el acceso a los pesos reduce las barreras para adaptar modelos tanto a fines beneficiosos como perjudiciales. Una vez descargados, el proveedor pierde capacidad para retirar el acceso o supervisar lo que se hace con esas copias.
Ese mismo acceso permite utilizar modelos en infraestructura propia sin enviar las consultas al desarrollador original, algo relevante para la confidencialidad. La protección efectiva dependerá también de cómo se configure y opere el servicio.
Por ejemplo, una organización que instale un modelo local tendrá que decidir quién puede consultar los documentos, dónde se guardan las conversaciones y cómo se gestionan las actualizaciones. Descargar el modelo resuelve una parte de esas decisiones.
Qué puede comprobar quien elige una herramienta
Para evaluar un sistema concreto, conviene empezar por su uso previsto. Un asistente que redacta borradores necesita controles diferentes de un agente autorizado a modificar archivos o ejecutar acciones.
Después se puede examinar qué componentes están disponibles, qué pruebas se han publicado y cómo se comunican los fallos. También importa saber quién mantiene el proyecto y qué capacidad tiene la organización para aplicar una corrección.
En el ejemplo de las devoluciones, una evaluación útil comprobaría si el asistente interpreta correctamente las condiciones, si reconoce los casos ambiguos y si deriva esas consultas a una persona. Esas pruebas aportan evidencias sobre una tarea concreta.
Del acceso público a la seguridad comprobable
El argumento de Delangue plantea una cuestión relevante: cuántas personas e instituciones pueden investigar una tecnología de la que dependen cada vez más servicios. Ampliar esa participación permite contrastar afirmaciones y explorar fallos desde perspectivas diferentes.
Para valorar sus resultados, habrá que observar qué problemas se descubren, cómo se corrigen y qué ocurre después del despliegue. La transparencia facilita ese trabajo; la seguridad se demuestra mediante las pruebas y las medidas aplicadas a cada sistema.
Fuentes consultadas
- WIRED — Declaraciones de Clément Delangue sobre riesgo existencial y desarrollo abierto
- NTIA — Informe de 2024 sobre beneficios y riesgos de los modelos con pesos ampliamente disponibles
- NTIA — Grados de apertura, adaptación de modelos y límites del control tras su distribución
Sombra Radio · Apoyo de lectores
Ayuda a mantener viva Sombra Radio
Tu aportación voluntaria nos ayuda a seguir publicando sobre IA. Puedes apoyarnos desde 1 € al mes.
