Destilación
knowledge distillation · teacher-student training
En corto
La destilación entrena un modelo estudiante más pequeño con las salidas de un modelo profesor más grande, de modo que el estudiante reproduce gran parte del comportamiento del profesor a un costo mucho menor. Es la razón principal por la que los modelos pequeños mejoraron tan rápidamente, y está restringida o prohibida por los términos de muchos API comerciales.
El modelo profesor genera salidas —respuestas, rastros de razonamiento, etiquetas— y el estudiante se entrena con ellas, en lugar de con texto web sin procesar. Debido a que las salidas del profesor son más limpias y consistentes que los datos extraídos, el estudiante aprende más rápido y con muchos menos ejemplos de los que requeriría el preentrenamiento.
Esta es la razón por la que la brecha entre un modelo de vanguardia y un buen modelo pequeño se redujo tan rápido. También es el mecanismo detrás de la mayor parte de la caída de precios en el servicio de IA: un modelo destilado que maneja la mayoría de las solicitudes rutinarias a una décima parte del costo es el mayor ahorro disponible para la mayoría de los productos.
Vale la pena mencionar dos límites. Un estudiante hereda los errores del profesor junto con sus habilidades, por lo que los errores se propagan en lugar de promediarse. Y los estudiantes generalizan mal más allá de la distribución sobre la que fueron destilados —fuertes en las tareas del conjunto de entrenamiento, notablemente más débiles justo fuera de él.
La cuestión de la licencia está en debate. "No puede utilizar las salidas para desarrollar modelos que compitan con nosotros" aparece en la mayoría de los términos de las API comerciales y en varias licencias de peso abierto. Si una destilación determinada está permitida es una cuestión contractual, y se ha convertido en una disputa recurrente en la industria.
Preguntas frecuentes
- ¿Es legal la destilación?
- Depende de la fuente. La mayoría de los términos de las API comerciales restringen el uso de las salidas para entrenar modelos competidores, y algunas licencias de pesos abiertos también lo hacen. La destilación a partir de un modelo que tiene licencia para usar con ese propósito es una práctica habitual.
- ¿Cuánta capacidad sobrevive a la destilación?
- Una gran parte dentro del dominio cubierto por los ejemplos de entrenamiento, y mucho menos fuera de él. Los estudiantes se corresponden estrechamente con los profesores en la distribución sobre la que fueron destilados y se degradan más allá de ella.