Google prueba StreamVibe, una IA que aprende cuándo echarte una mano y cuándo guardar silencio

En una de las pruebas, varios asistentes intervinieron hasta 16 veces durante una receta al microondas. StreamVibe lo hizo una sola vez. El experimento plantea una pregunta que importa a cualquiera que haya silenciado un asistente: ¿en qué momento merece la pena hablar?

Imagina que estás montando un mueble. Si alguien te dice «tienes una llave Allen en la mano», probablemente te estorbe. Si te avisa de que has colocado una pata al revés justo antes de apretar el tornillo, te ahorra desmontarla. La escena es casi idéntica. Lo que cambia es el valor de la interrupción.

Ese es el problema que aborda StreamVibe, un proyecto de investigación con participación de Google que sus autores presentaron el 26 de octubre. Su modelo, StreamVibe-VL, observa una tarea en vídeo mientras ocurre e intenta deducir qué quiere conseguir la persona. A partir de ahí tiene que tomar dos decisiones distintas: qué podría decirle y si este es un buen momento para hacerlo.

La prueba del microondas

Una de las demostraciones públicas muestra cómo preparar una shakshuka en una taza al microondas. StreamVibe interviene una vez. Entre los otros cinco modelos que aparecen en la comparativa, hay uno que guarda silencio durante todo el vídeo y otro que responde 16 veces.

¿Quién ayuda más? Contar las respuestas apenas nos acerca a la respuesta. Un único aviso puede ser justo lo que necesitabas o llegar cuando ya has terminado ese paso. Lo interesante de la demo es que permite reproducir la misma escena con cada asistente y ver qué estaba haciendo la persona cuando el modelo decidió intervenir.

Una petición puede cambiar a mitad de la tarea

Para evaluar el sistema, los investigadores reunieron unos 85.000 ejemplos de entrenamiento y 4.100 de evaluación. Las pruebas distinguen tres situaciones que, vistas desde el otro lado de la cámara, exigen comportamientos muy diferentes.

• Petición explícita. Si pides «avísame cuando el esquiador empiece a bajar», el asistente ya conoce el objetivo. Su trabajo consiste en esperar y reconocer el instante de la salida.
• Intención implícita. Alguien intenta cambiar la rueda trasera de un coche de juguete. El asistente tiene que interpretar qué paso está dando y juzgar si una indicación le serviría, aunque nadie haya formulado una pregunta.
• Intención cambiante. Una persona está preparando huevos revueltos en una taza y hace preguntas durante la receta. El asistente debe atender esa duda y recordar en qué punto había quedado la preparación.

Qué ocurre cuando el asistente pierde el hilo

El último caso explica por qué el proyecto incluye StreamVibe-Harness, un sistema de memoria que conserva el objetivo de la persona y actualiza lo que está ocurriendo. En una cocina, la diferencia es fácil de imaginar: puedes contestar bien a una pregunta sobre un ingrediente y, un minuto después, resultar desesperante si sugieres añadirlo cuando ya está en la taza.

En las pruebas del equipo, esa memoria mejoró la coherencia de las intervenciones a medida que avanzaba la interacción. Aun así, los autores identifican una dificultad que sigue abierta: cuando la persona no expresa lo que quiere o cambia de idea sobre la marcha, los modelos todavía se equivocan al decidir cuándo responder.

Ahí está la gracia de la prueba del mueble. Para reconocer una llave Allen basta con mirar la imagen. Para dar un buen consejo hay que entender qué intentas montar, recordar qué piezas has puesto y avisarte mientras todavía puedes girar la pata con la mano.

Fuentes y demostraciones

• Estudio original de StreamVibe en arXiv
• Página del proyecto con 20 vídeos y las respuestas de los asistentes