Cómo elegir un modelo de IA para un producto real

La selección de modelos suele abordarse como un problema de clasificación: encontrar el mejor modelo y usarlo. Ese enfoque produce dos resultados previsibles: un sistema caro que realiza tareas sencillas, o un sistema barato que falla de formas que nadie puso a prueba.

Un planteamiento mejor es el de las compras: primero las restricciones, después la lista corta, por último la prueba. Las restricciones hacen la mayor parte del trabajo, y son propiedades de su producto, no opiniones sobre los modelos.

Las seis propiedades que determinan el ajuste

Calidad en su tarea. No la calidad general. Un modelo que escribe una prosa hermosa puede extraer campos estructurados con torpeza, y un modelo que razona bien en matemáticas puede ser innecesariamente lento para clasificar. Las clasificaciones generales sirven para filtrar qué modelos probar, no como sustituto de la prueba.

Coste por solicitud. Tarificado en tokens de entrada y salida, multiplicado por su tráfico real. La cifra que importa es el gasto mensual al volumen previsto, y conviene calcularla antes y no después. Cabe señalar que los modelos de tipo razonador facturan su deliberación interna como tokens de salida, por lo que su coste efectivo por tarea completada puede multiplicar varias veces la tarifa anunciada.

Latencia. Dos cifras, no una. El tiempo hasta el primer token determina la capacidad de respuesta percibida en cualquier interfaz de transmisión continua. El tiempo total de generación determina el rendimiento en trabajos por lotes. Un producto interactivo suele preocuparse más por lo primero; un proceso nocturno solo se preocupa por lo segundo.

Ventana de contexto. Mida la distribución real de sus entradas en el percentil 95. Elegir en función de un máximo poco frecuente significa pagar por una capacidad que se usa unas pocas veces al mes en cada solicitud que realiza.

Capacidades de integración. Fiabilidad en la llamada a herramientas, salida con esquema forzado, comportamiento de transmisión, entrada de imagen o audio si la necesita. Estas propiedades varían entre modelos mucho más de lo que sugieren las puntuaciones generales de calidad, y con frecuencia son las que determinan si una integración funciona en absoluto, no cuán bien lo hace.

Restricciones de despliegue y de datos. Dónde pueden procesarse los datos, cuáles son las condiciones de retención, si existe un punto de acceso regional, si el modelo puede ejecutarse en su propio entorno. Estas decisiones suelen tomarse fuera del equipo de ingeniería, y eliminan candidatos con independencia de todas las demás propiedades.

Probar con sus propios casos

Con una lista corta de dos o tres, la decisión se resuelve mediante la prueba, y esta no necesita ser compleja.

Tome cincuenta casos reales de su propio tráfico, ejecute cada candidato y compare caso por caso en lugar de por promedio. El promedio apenas dice nada; lo interesante es saber en qué casos concretos falla cada modelo y si esos casos importan. Un modelo algo más débil en conjunto pero que nunca falla en la categoría costosa es la mejor elección, y ninguna puntuación agregada se lo dirá.

Dos advertencias prácticas. Use el mismo mensaje (prompt) para cada candidato en la primera pasada, para obtener una base de comparación justa; después, antes de decidir, dedique algo de tiempo a ajustar el mensaje para el candidato líder, porque los modelos difieren en aquello a lo que responden y un mensaje ajustado para uno puede infravalorar a otro. Y mida la latencia y el coste durante la misma ejecución, de modo que las tres dimensiones procedan de un solo experimento y no de tres.

La mayor parte del tráfico no necesita el modelo más potente

Esta es la observación con mayor repercusión económica, y está al alcance de casi cualquier producto.

El tráfico real no es uniformemente difícil. Un asistente de soporte responde un gran número de preguntas rutinarias y un pequeño número de preguntas realmente difíciles. Un proceso de clasificación se enfrenta en su mayoría a casos claros. Enviarlo todo al modelo más potente disponible significa pagar el precio del caso más difícil por el trabajo del caso más fácil.

El remedio habitual es el enrutamiento: un modelo pequeño y rápido gestiona el grueso, con escalado a un modelo mayor cuando una señal de confianza, una categoría o un fallo de validación indican dificultad. El ahorro suele ser considerable —el volumen alto es donde está el dinero— y el techo de calidad se preserva para los casos que lo necesitan.

El enrutamiento tiene su propio coste: dos modelos que evaluar, una regla de enrutamiento que mantener, y un nuevo tipo de fallo en el que el enrutador envía un caso difícil al modelo pequeño. Compensa a partir de cierto volumen y no compensa por debajo de un determinado umbral. Ese umbral es específico de su tráfico, y calcularlo supone medio día de trabajo.

Elegir pensando en el cambio

Sea cual sea su elección, quedará superada. Los modelos disponibles dentro de un año serán más baratos, más rápidos o mejores, y la decisión que tome ahora no debería salir cara de revisar.

Tres hábitos mantienen ese coste bajo. Conserve los mensajes, las definiciones de herramientas y el análisis de la salida en su propio código, de modo que cambiar de proveedor sea un cambio de configuración y no una reescritura. Conserve el conjunto de evaluación, porque es lo que convierte evaluar un nuevo candidato en una tarea de un día y no en un proyecto. Y fije explícitamente la versión del modelo en lugar de seguir un alias cambiante, de modo que un cambio de comportamiento sea algo que usted programa y no algo que descubre.

Este último punto merece énfasis. Un sistema que sigue el alias más reciente de un proveedor hereda automáticamente cada cambio de comportamiento, incluidos los que rompen un mensaje cuidadosamente ajustado. Fije la versión, ejecute la evaluación cuando aparezca una nueva y actualice de forma deliberada.

El método abreviado

1. Anote las cinco restricciones como cifras.
2. Filtre los candidatos que las cumplan, normalmente dos o tres.
3. Ejecute cincuenta casos reales con cada uno, midiendo la calidad por caso, junto con la latencia y el coste.
4. Ajuste el mensaje para el líder y repita la ejecución.
5. Elija el candidato más barato que apruebe la prueba, no el de mayor puntuación.
6. Fije la versión, conserve el conjunto de evaluación y revíselo cuando salga algo nuevo.

El paso cinco es donde se ahorra la mayor parte del dinero, y es el paso que la gente se salta, porque elegir el modelo más potente parece más seguro que elegir el suficiente. Por solicitud, a lo largo de un año, casi nunca lo es.