Ajuste fino
SFT · supervised fine-tuning · LoRA
En corto
El ajuste fino continúa entrenando un modelo preentrenado en un conjunto de datos más pequeño y específico para una tarea, ajustando sus pesos para que produzca de manera confiable un formato, tono o habilidad específica particular. Es una forma pobre de enseñar hechos, que cambian y se suministran mejor mediante la recuperación en el momento de la solicitud.
El ajuste fino comienza a partir de un modelo que ya habla el idioma y empuja sus pesos hacia un comportamiento específico. La pregunta correcta que hay que hacerse antes de empezar es: ¿mi problema es de conocimiento o de comportamiento?
Si el modelo no conoce tu catálogo de productos, el ajuste fino es la herramienta incorrecta: el catálogo cambia semanalmente y el reentrenamiento no. Usa recuperación.
Si el modelo sabe mucho pero no emite consistentemente tu esquema JSON, adopta tu estilo de casa o aplica tu taxonomía de clasificación interna, el ajuste fino hace eso bien y de forma económica.
El ajuste fino completo actualiza cada parámetro: es caro y produce una copia completa del modelo para alojar. LoRA y métodos similares eficientes en parámetros entrenan un pequeño adaptador junto al modelo base congelado, lo que es drásticamente más barato y suficiente para la mayoría de los propósitos.
Tres precauciones prácticas. Los modelos ajustados finamente pueden perder capacidad general en áreas que el conjunto de entrenamiento descuida, un fenómeno que generalmente se llama olvido catastrófico. El modelo base subyacente eventualmente será obsoleto, y tu adaptador irá con él, así que presupuesta rehacer el trabajo. Y el esfuerzo es frecuentemente innecesario: los equipos ajustan finamente rutinariamente para resolver problemas que un prompt más claro y algunos ejemplos en contexto habrían resuelto en una tarde. Prueba eso primero.
Preguntas frecuentes
- ¿Cuántos ejemplos necesito para ajustar?
- Para el formato y el tono, a menudo unos pocos cientos de ejemplos de alta calidad superan a decenas de miles de ejemplos ruidosos. La consistencia en el conjunto de entrenamiento importa más que el volumen.
- ¿Qué es LoRA?
- Low-Rank Adaptation entrena un pequeño conjunto de parámetros adicionales en lugar de actualizar todo el modelo. Es mucho más económico, produce un pequeño archivo adaptador en lugar de una copia completa del modelo y es adecuado para la mayoría del trabajo de personalización.