Una IA del MIT logra que Qwen resuelva más problemas matemáticos al modificar el 0,016 % de sus pesos

Qwen se atascaba al repetir los mismos pasos hasta agotar el espacio disponible para responder. En un experimento del MIT, GPT-6 Astra ajustó dos capas del modelo y su tasa de acierto en la prueba MATH-500 pasó del 7,9 % al 48,1 %.

Un modelo puede ir bien encaminado al resolver un problema de matemáticas y aun así quedarse sin dar la respuesta. Eso le ocurría a Qwen3.5-0.8B, un modelo de pesos abiertos que tendía a repetir parte de su razonamiento. Un equipo del laboratorio CSAIL del MIT le planteó un reto a GPT-6 Astra, de OpenAI: averiguar qué podía cambiar dentro de Qwen para que resolviera más problemas sin volver a entrenarlo.

El resultado, publicado el 2 de noviembre de 2026, ilustra una técnica que los investigadores llaman weight-space programming, o programación en el espacio de pesos. Astra modificó 131.072 parámetros de un modelo de unos 800 millones. Tras el ajuste, Qwen consiguió terminar más respuestas y acertó en casi la mitad de los problemas de MATH-500, frente a menos de uno de cada doce antes de la intervención.

¿Qué cambia al editar los pesos de una IA?

Los pesos son los valores numéricos que una red neuronal adquiere durante el entrenamiento. Influyen, entre otras cosas, en qué palabra o símbolo generará el modelo a continuación. Dos modelos pueden ejecutar el mismo código y responder de manera distinta si sus pesos tienen valores diferentes.

En un ajuste fino convencional, un algoritmo calcula cómo modificar los parámetros a partir de los errores que comete el modelo en una serie de ejemplos. En este experimento, los investigadores dieron a Astra acceso a los pesos de Qwen mediante Python y le permitieron hacer pruebas. Astra pudo así proponer una modificación, observar sus efectos y decidir qué conservar sin recurrir al cálculo de gradientes que guía el entrenamiento habitual.

Por qué corregir un bucle cambió tanto la puntuación

La documentación de Qwen ya advertía de su tendencia a quedarse atrapado en razonamientos repetitivos. Astra localizó en dos capas, la 15 y la 19, un ajuste que reducía ese comportamiento. Aunque la intervención afectó solo al 0,016 % de los pesos, actuaba sobre un fallo que se repetía en muchos ejercicios.

Ahí está el matiz que da sentido al salto del 7,9 % al 48,1 %. En una prueba matemática cuenta la respuesta final. Si el modelo emplea todo el texto que tiene permitido generar en revisar una y otra vez un paso intermedio, pierde la oportunidad de entregar el resultado. Reducir esos bucles le permitió aprovechar mejor capacidades que ya tenía. La mejora también se observó en GSM8K, otra prueba de problemas matemáticos, y en IFEval, que evalúa si el modelo sigue instrucciones.

Un ajuste pequeño y una pregunta abierta

El porcentaje describe cuántos parámetros cambiaron. Qwen sigue teniendo unos 800 millones, de modo que esa cifra por sí sola no permite calcular cuánto costó encontrar la modificación ni cuánta batería consumiría el modelo en un teléfono.

La pregunta que deja el experimento es si una IA podrá encontrar ajustes igual de precisos cuando el fallo sea más difícil de reconocer. En Qwen había una pista observable: bastaba leer algunas respuestas para ver dónde empezaban las repeticiones. Corregir un error de cálculo que produce una respuesta breve, convincente y equivocada supondría una prueba distinta para la técnica.

Fuentes

• MIT CSAIL — Descripción del experimento, método y resultados publicados por los investigadores
• Xataka — Una IA ha hecho mejor a otra IA con un método inesperado