El examen definitivo para medir el cerebro de la inteligencia artificial resulta tener preguntas imposibles de resolver y respuestas equivocadas.
El examen que la IA no podía aprobar (ni suspender)
Imagina que te presentas al examen de conducir. Te subes al coche, te abrochas el cinturón y el examinador te ordena: ¡Enciende el reactor nuclear del maletero!.
Por más que lo intentes, es imposible. No hay reactor. El examen está mal diseñado, pero el sistema de evaluación registra que has suspendido porque no supiste cumplir la orden.
Esto es exactamente lo que OpenAI descubrió al analizar de cerca las pruebas aplicadas a los sistemas de inteligencia artificial que escriben código para software profesional.
El examen más famoso del mundo para medir estas capacidades, llamado SWE-Bench Pro, tiene casi un tercio de sus preguntas completamente rotas.
A fecha de 9 de julio de 2026, la comunidad tecnológica se enfrenta a una realidad incómoda: hemos estado usando una regla de medir torcida para evaluar el futuro del software.
¿Qué es un Benchmark? El termómetro de la tecnología
Para entender el problema real, primero debemos abrir el capó y mirar cómo medimos la inteligencia de una máquina pensante.
En el mundo tecnológico, un benchmark es el equivalente a un decatlón olímpico. Es una serie de pruebas estandarizadas para ver qué máquina corre más rápido o cuál resiste más.
Si diseñas un nuevo procesador, le pasas un benchmark para ver cuántos cálculos hace por segundo. Si diseñas una IA, le pides que resuelva problemas lógicos reales.
SWE-Bench Pro es el examen definitivo para los programadores artificiales. Consiste en darle a la IA un problema de código extraído de plataformas como GitHub para ver si puede solucionarlo.
Si la IA resuelve el problema sin romper nada más, gana puntos. Si falla, el sistema lo registra. Es el estándar de oro que toda la industria observa con lupa.
El gran fallo: Copiar sin limpiar el examen
¿Por qué está roto este examen tan importante? La respuesta corta es que los creadores del test tomaron atajos al diseñar los problemas de código.
En lugar de construir escenarios controlados en un laboratorio digital, extrajeron directamente problemas reales de proyectos de software libre que ya existían en la red.
Esto es como si un profesor de secundaria copia y pega preguntas de un examen universitario avanzado sin revisar si los datos del enunciado coinciden o si las fórmulas son correctas.
OpenAI analizó estas pruebas detalladamente en julio de 2026 y descubrió que aproximadamente el 30% de las tareas de SWE-Bench Pro son sencillamente imposibles.
En algunos casos, el código de prueba requiere herramientas externas de internet que ya no existen, por lo que el sistema falla de inmediato sin importar lo lista que sea la IA.
En otros casos, el problema ya había sido solucionado por otra vía dentro del software, por lo que la IA se vuelve loca intentando arreglar algo que ya está perfecto.
¿Cómo funciona el código por dentro? Una torre de Jenga digital
Para comprender por qué un pequeño error en un examen rompe todo por completo, imagina que el código de una aplicación es como una torre gigante de Jenga.
Cada bloque de madera es una línea de instrucción. Si mueves un bloque en la base de la torre, toda la estructura superior tiembla o se viene abajo de golpe.
Cuando una IA intenta resolver un problema de código, lee miles de estas instrucciones para encontrar cuál es la que está floja y necesita un cambio rápido.
Pero si el examen le da a la IA una torre donde faltan piezas clave desde el principio, la máquina no puede hacer nada más que ver cómo todo se desploma en la pantalla.
No es que la inteligencia artificial sea incapaz de programar de forma óptima; es que le estamos pidiendo que repare un edificio flotante que no tiene cimientos sólidos en el suelo.
¿Por qué esto te afecta en tu vida cotidiana?
Podrías pensar que este es un problema exclusivo de los ingenieros de Silicon Valley, pero la realidad es que afecta directamente a los sistemas que usas cada día.
Las aplicaciones bancarias, las redes sociales y los asistentes de navegación de los vehículos modernos se construyen utilizando herramientas de inteligencia artificial.
Si los desarrolladores de software confían en exámenes rotos para validar qué tan segura es una IA programando, corremos el riesgo de usar herramientas inestables.
Podríamos acabar implementando sistemas automatizados en sectores sensibles creyendo que son infalibles, cuando en realidad sus notas de examen estaban artificialmente infladas.
O por el contrario, podríamos descartar tecnologías excelentes porque un examen mal diseñado y descuidado las calificó con un cero totalmente injustificado.
La decisión de OpenAI: Retirar el tablero de juego
Ante esta alarmante situación, OpenAI ha tomado una decisión drástica en esta primera mitad de julio de 2026: retirar oficialmente su apoyo a SWE-Bench Pro.
La compañía ha hecho un llamamiento urgente a los competidores del sector tecnológico para colaborar en la construcción de sistemas de evaluación más honestos.
La meta de la industria no es hacer que los exámenes sean más fáciles para que las máquinas parezcan más inteligentes de lo que realmente son.
El objetivo real es diseñar pruebas que se parezcan de verdad a la jornada de trabajo diaria de un programador humano, con reglas claras y limpias.
No puedes evaluar la destreza de un cirujano dándole un bisturí de juguete para operar a un paciente que ya estaba completamente sano.
El camino hacia un futuro de código transparente
Este inesperado tropiezo en el camino del desarrollo de la inteligencia artificial no es una mala noticia en absoluto. Al contrario, demuestra madurez.
Cuando abrimos el capó de la tecnología y descubrimos que una herramienta de medición clave está fallando, es cuando realmente podemos mejorar la calidad del motor.
La corrección de estos exámenes obsoletos nos permitirá entrenar asistentes de código mucho más precisos, eficientes y, sobre todo, seguros para los usuarios finales.
