El benchmark de SemiAnalysis pone a prueba a los agentes de IA con tareas profesionales exigentes. Sus resultados muestran limitaciones importantes, pero no significan que estas herramientas fracasen en el 88 % de cualquier trabajo.
Una cosa es responder y otra hacerse cargo del trabajo
Explicar cómo resolver un problema y resolverlo de principio a fin son capacidades diferentes. Esa distancia es especialmente importante cuando hablamos de agentes de inteligencia artificial: sistemas que utilizan herramientas y encadenan acciones para cumplir un objetivo.
SemiAnalysis presentó el 2 de noviembre GDPx, una evaluación de tareas complejas en entornos profesionales simulados. En la clasificación consultada para este artículo, ningún modelo supera el 12 % de puntuación global.
El resultado cuestiona las expectativas de autonomía. Sin embargo, para interpretarlo hay que mirar qué se evalúa y cómo se calcula la nota.
Qué mide GDPx y qué deja fuera
GDPx reúne 206 tareas distribuidas en once ámbitos, con la colaboración de catorce socios especializados. Incluye áreas como diseño de chips, biología, ciberseguridad, finanzas, derecho e ingeniería de software.
La selección se concentra en sectores donde sus creadores esperan un impacto elevado de la IA. No pretende representar todas las ocupaciones ni el trabajo cotidiano de cualquier oficina.
Los agentes deben desenvolverse dentro de entornos con archivos y herramientas. El tiempo máximo habitual es de ocho horas por tarea, aunque existen excepciones con límites inferiores.
La diferencia puede entenderse con un ejemplo: recibir una tabla preparada y redactar un resumen no exige lo mismo que localizar los documentos pertinentes, identificar discrepancias y construir un resultado verificable.
Los resultados: un techo del 12 %
Estos son los tres primeros modelos de la clasificación global consultada:
- Claude Opus 5.5: 12,0 %.
- Gemini 4 Carbon: 10,9 %.
- GPT-6 Astra: 9,6 %.
La puntuación combina evaluaciones binarias y continuas según la tarea, promedia tres intentos y asigna el mismo peso a cada ámbito. Por tanto, no puede interpretarse como el porcentaje de tareas que una IA resolverá en cualquier empresa.
Tampoco permite concluir que todos los modelos sean igual de útiles para una necesidad concreta. Una media global puede ocultar diferencias relevantes entre especialidades.
Por qué una buena respuesta no garantiza un buen resultado
Imagina un agente encargado de preparar un informe a partir de varias carpetas. Puede redactar con claridad y, aun así, utilizar una versión desactualizada de un documento. El texto parecerá convincente, pero su conclusión podría ser incorrecta.
Ese ejemplo ilustra una dificultad de la automatización: cada decisión depende de las anteriores. Elegir bien las fuentes, interpretar los datos y comprobar el resultado forman parte del trabajo, aunque sean menos visibles que la respuesta final.
Conviene distinguir esta explicación general de un diagnóstico del benchmark. La puntuación agregada, por sí sola, no demuestra que todos los fallos se deban a pérdida de contexto, bucles o datos inventados.
Los filtros de seguridad también influyen
SemiAnalysis señala que los clasificadores de seguridad afectan a algunos resultados, especialmente en ciberseguridad, biología y alineamiento. Por eso ofrece también una comparación que excluye esos tres ámbitos.
Este matiz importa: rechazar una acción y ser incapaz de realizarla son situaciones distintas. Para valorar un agente necesitamos saber tanto si alcanza el objetivo como si respeta los límites establecidos.
Eliminar restricciones para conseguir una puntuación mayor tampoco demuestra que el sistema sea más adecuado para trabajar con datos o herramientas de una empresa.
Cómo trasladar estos resultados a una empresa
La lectura práctica es evaluar cada automatización sobre el proceso que se quiere mejorar. Un benchmark exigente aporta información, pero no sustituye una prueba con documentos, herramientas y criterios de aceptación propios.
En esa prueba conviene medir algo más que el número de tareas terminadas:
- Calidad: ¿el resultado es correcto y se puede verificar?
- Intervención: ¿cuánto trabajo humano exige revisarlo o corregirlo?
- Coste: ¿compensa el tiempo y los recursos utilizados?
- Control: ¿el agente respeta los permisos y comunica los obstáculos?
La autonomía se demuestra con resultados verificables
GDPx aporta una señal de cautela ante las promesas de delegar trabajos complejos de principio a fin. No establece una fecha para alcanzar esa autonomía ni demuestra que las automatizaciones más acotadas carezcan de valor.
La pregunta útil para una empresa es concreta: ¿qué puede completar este sistema, con qué calidad y cuánta supervisión necesita? Esa respuesta dice más sobre su utilidad que una demostración espectacular o una cifra aislada.
Fuentes
- SemiAnalysis: presentación y metodología de GDPx.
- GDPx: clasificación oficial y criterios de puntuación.
Sombra Radio · Apoyo de lectores
Ayuda a mantener viva Sombra Radio
Tu aportación voluntaria nos ayuda a seguir publicando sobre IA. Puedes apoyarnos desde 1 € al mes.
