El enrutamiento dinámico permite que un mismo asistente reparta el trabajo entre varios modelos. El ahorro depende de cuántas tareas resuelve bien cada uno. El control de los datos depende de qué servicios tienen permiso para leer la consulta.
Un cliente escribe a soporte para pedir una copia de su factura. Otro adjunta dos facturas, señala que se le ha cobrado dos veces y pregunta por qué los importes son distintos. Los dos mensajes hablan de facturación. El primero se puede dirigir al equipo adecuado con una etiqueta. El segundo exige comparar documentos y decidir si hay información suficiente para explicar el cargo.
¿Tiene sentido pagar lo mismo por procesar ambos mensajes? Esa pregunta está detrás del enrutamiento dinámico de modelos de IA. El empleado trabaja con una sola interfaz, pero el sistema puede elegir un modelo distinto para cada petición. En una entrevista con TechRadar Pro, Grace Adamson, responsable de marketing de producto de IA en Snowflake, propone partir de la tarea y valorar la calidad, el tiempo de respuesta y el coste de resolverla.
Qué decide el enrutador antes de que llegue la respuesta
El enrutador es el componente que recibe una petición y elige adónde enviarla. Puede aplicar una regla definida por la empresa o utilizar un clasificador que estime qué consultas se beneficiarían de un modelo más capaz. En el ejemplo de soporte, una instrucción breve como «asigna este correo a un departamento» podría ir a un modelo económico que ya haya demostrado que distingue bien entre facturación, ventas e incidencias técnicas.
La reclamación por el doble cobro merece otra ruta. Hay que leer ambos documentos y contrastarlos con el historial de la cuenta. Incluso el modelo más potente tendría que dejar la cuestión abierta si solo dispone de las facturas: dos documentos emitidos no bastan para confirmar que se hayan ejecutado dos pagos. Antes de elegir cuánto gastar en una respuesta, conviene saber qué información permitiría darla por buena.
Un modelo barato también puede salir caro
La tarifa por token indica cuánto cuesta procesar texto. Para decidir si una ruta compensa, resulta más útil medir el coste por caso resuelto correctamente. Ahí entran el coste de elegir el modelo, los reintentos y el tiempo de revisión. Si un correo acaba en el departamento equivocado, la primera llamada a la IA puede haber costado muy poco y, aun así, haber encarecido la gestión.
Una empresa puede comprobarlo con incidencias que ya haya resuelto. Toma una muestra de correos, conserva la resolución validada por el equipo y compara qué habría ocurrido con un único modelo y con el sistema de enrutamiento. Las diferencias que importan son concretas: cuántos casos llegan al destino correcto a la primera, cuánto tarda el cliente en recibir una respuesta útil y cuánto cuesta obtenerla.
Quién puede leer la factura antes de elegir el modelo
Supongamos que la empresa solo permite procesar facturas en un entorno privado. Esa condición debe aplicarse antes de comparar precios o capacidades. Hay un detalle fácil de pasar por alto: si un clasificador externo recibe el documento completo para decidir que debe enviarlo a un modelo interno, la factura ya ha salido del entorno autorizado.
Una forma de resolverlo es aprovechar información que el sistema ya conoce. Si el archivo procede del buzón de facturación y lleva una etiqueta de acceso restringido, el enrutador puede descartar los destinos externos sin abrir el adjunto. La misma regla debe mantenerse si el modelo elegido falla y el sistema intenta usar otro. Para revisar después lo ocurrido, puede bastar con registrar el identificador del caso, la regla aplicada y el destino, sin copiar el contenido de la factura al registro.
En una prueba piloto, la señal más útil quizá sea descubrir dónde merece la pena pagar más. Si un modelo económico clasifica bien casi todos los correos de facturación, esa tarea ofrece margen de ahorro. Si las discrepancias entre cobros siguen necesitando acceso al historial y revisión humana, dedicarles más presupuesto de IA solo compensa cuando reduce el trabajo necesario para cerrar la reclamación.
Fuentes y lecturas complementarias
- TechRadar Pro: entrevista con Grace Adamson, de Snowflake, sobre cómo elegir modelos y medir su valor
- RouteLLM: proyecto abierto para evaluar cómo cambia la relación entre coste y calidad al repartir consultas entre modelos
Sombra Radio · Apoyo de lectores
Ayuda a mantener viva Sombra Radio
Tu aportación voluntaria nos ayuda a seguir publicando sobre IA. Puedes apoyarnos desde 1 € al mes.
