Una prueba de decisiones en programación e investigación muestra dificultades para escoger estrategias con beneficios tardíos. El trabajo también explora cómo entrenar ese criterio, aunque sus resultados no equivalen a resolver la autonomía de los agentes.
Saber ejecutar una tarea no garantiza elegir el mejor camino
Un agente puede escribir código, consultar documentación y corregir errores sin acertar en una decisión fundamental: qué merece la pena intentar primero.
Imaginemos un problema de software que admite dos soluciones. Una permite avanzar rápidamente, pero obliga a introducir excepciones después. La otra exige investigar más al principio, aunque simplifica los siguientes pasos. Ambas pueden parecer razonables antes de conocer sus consecuencias.
Ese tipo de elección es el centro de Taste-Bench. El término taste se utiliza aquí como criterio para escoger una dirección prometedora, no como gusto estético ni como una medida general de inteligencia.
El trabajo, firmado por investigadores de Microsoft, City University of Hong Kong y un investigador independiente, apareció como prepublicación en septiembre de 2026.
Una prueba que detiene al agente en una bifurcación
Taste-Bench contiene 502 preguntas extraídas de trayectorias de ingeniería de software e investigación en aprendizaje automático: 390 pertenecen al primer ámbito y 112 al segundo.
Cada pregunta presenta una tarea, el trabajo realizado hasta cierto momento y dos posibles direcciones. El modelo debe escoger sin ver lo que ocurrió después. Los resultados posteriores sirven para identificar la alternativa respaldada por la trayectoria registrada.
Los casos proceden tanto de intentos paralelos de resolver un problema como de recorridos en los que un agente abandonó una vía y corrigió su estrategia.
La idea permite separar dos preguntas que suelen mezclarse: «¿acabó funcionando?» y «¿eligió bien en este punto concreto?».
Qué significa realmente el 59,7 %
El mejor resultado global publicado es un 59,7 %, correspondiente a GPT-5.6 Sol. La puntuación combina por igual los resultados de ingeniería e investigación.
El protocolo exige acertar la misma pregunta con las opciones en ambos órdenes. Así reduce el efecto de preferir sistemáticamente la primera o la segunda respuesta. Con elecciones aleatorias independientes, la referencia es un 25 %, no un 50 %.
Por tanto, ese 59,7 % no significa que un agente complete aproximadamente seis de cada diez proyectos reales. Tampoco corresponde exclusivamente a los casos donde la evidencia aparece tarde: es la puntuación global de esta evaluación.
El problema se agrava cuando la evidencia tarda en llegar
El estudio encuentra que las decisiones resultan más difíciles cuando la evidencia decisiva aparece más adelante. La media de los 14 modelos pasa del 62,3 % en la categoría con evidencia ya presente al 21,0 % en la que requiere más trabajo posterior.
Además, ampliar el presupuesto de razonamiento no mejoró la precisión en las pruebas realizadas.
Una interpretación práctica es que producir una explicación más larga no garantiza disponer de mejores fundamentos para decidir. En el ejemplo del software, un agente podría justificar detalladamente una solución y seguir sin haber comprobado la dependencia que la hará fallar.
Esto plantea una distinción útil: algunas dudas se resuelven pensando sobre la información disponible; otras requieren obtener información nueva. Saber cuándo ejecutar una prueba puede ser tan importante como saber interpretar su resultado.
¿Se puede entrenar ese criterio?
Los autores entrenaron un modelo alumno a partir del juicio de un profesor informado del resultado. En preguntas de ingeniería reservadas para evaluación, la precisión pasó del 30,0 % al 47,9 %.
En otra prueba, sobre 41 tareas de SWE-bench Pro, proporcionar consejos del alumno a un agente ejecutor elevó el éxito del 14,6 % al 33,7 %. Los consejos se preparaban antes de ejecutar, utilizando bifurcaciones identificadas en recorridos anteriores.
Es una mejora de más del doble en esa configuración, pero no demuestra que cualquier agente vaya a programar el doble de bien. Tampoco equivale a detectar y resolver espontáneamente todos los dilemas de una tarea nueva.
Lo que el benchmark deja fuera
Elegir entre dos alternativas ya formuladas es diferente de descubrir por cuenta propia cuáles son las alternativas relevantes. En un proyecto abierto, el agente también debe reconocer que se ha atascado, proponer otra estrategia y decidir si merece la pena explorarla.
Por eso, conviene interpretar Taste-Bench como una prueba de una capacidad concreta. Su puntuación no debería trasladarse directamente a decisiones empresariales, planificación personal o cualquier otro ámbito ajeno a las tareas evaluadas.
También importa distinguir entre la mejor dirección observada y una solución universalmente óptima. Un resultado registrado permite comparar esos recorridos; no demuestra que se hayan explorado todas las posibilidades.
Estas cautelas no restan interés al trabajo. Ayudan a entender qué pregunta responde y cuáles siguen abiertas.
Qué podemos aplicar al trabajar con agentes
Como lectura práctica, el estudio invita a organizar la supervisión alrededor de las decisiones importantes, además de revisar la entrega final. En un flujo de trabajo, eso podría traducirse en:
- Explicitar las alternativas: pedir qué caminos se están considerando y qué evidencia favorece cada uno.
- Comprobar supuestos pronto: realizar una prueba pequeña antes de construir una solución extensa sobre una hipótesis incierta.
- Definir cuándo cambiar de estrategia: acordar qué resultado justificaría abandonar una vía.
- Revisar decisiones costosas: introducir una comprobación antes de cambios difíciles de revertir.
- Registrar resultados: conservar qué se intentó y por qué funcionó o falló para evaluar futuras decisiones.
Son propuestas de uso, no intervenciones cuya eficacia haya quedado demostrada por este benchmark. Su objetivo es convertir una dirección equivocada en algo detectable antes de que consuma todo el tiempo disponible.
La lectura de SombraRadio: autonomía también es saber rectificar
En SombraRadio creemos que este trabajo señala una diferencia importante entre actividad y progreso. Ver a un agente ejecutar decenas de acciones puede transmitir una sensación de avance, aunque esté desarrollando una estrategia poco prometedora.
La evaluación de los agentes necesita mirar también esas elecciones intermedias: qué investigan, qué descartan y cuándo reconocen que deben cambiar de rumbo.
Un agente útil necesita algo más que ejecutar bien los pasos: debe elegir cuáles merecen darse y comprobar cuándo ha llegado el momento de rectificar.
La parte prometedora de Taste-Bench es que trata ese criterio como una capacidad que se puede estudiar y mejorar. La parte pendiente es demostrar hasta dónde se trasladan esas mejoras cuando las decisiones dejan de estar preparadas por un benchmark y aparecen durante el trabajo real.
Fuentes
- Pan y colaboradores: The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks
- Artículo completo: metodología, resultados y experimento de entrenamiento
- Repositorio oficial de Taste-Bench: protocolo, composición y clasificación de modelos
Sombra Radio · Apoyo de lectores
Ayuda a mantener viva Sombra Radio
Tu aportación voluntaria nos ayuda a seguir publicando sobre IA. Puedes apoyarnos desde 1 € al mes.
