Destillation
knowledge distillation · teacher-student training
Kurz gesagt
Destillation trainiert ein kleineres Studentenmodell anhand der Ausgaben eines größeren Lehrermodells, sodass der Student einen Großteil des Verhaltens des Lehrers zu weitaus geringeren Kosten reproduziert. Dies ist der Hauptgrund dafür, dass kleine Modelle so schnell besser wurden, und es ist durch die Nutzungsbedingungen vieler kommerzieller APIs eingeschränkt oder verboten.
Das Lehrermodell generiert Ausgaben – Antworten, Begründungsspuren, Labels –, und der Schüler wird darauf trainiert, anstatt auf rohen Webtext. Da die Ausgaben des Lehrers sauberer und konsistenter sind als gesammelte Daten, lernt der Schüler schneller und mit weitaus weniger Beispielen, als das Vortraining erfordern würde.
Deshalb hat sich die Lücke zwischen einem Spitzenmodell und einem guten kleinen Modell so schnell verringert. Dies ist auch der Mechanismus hinter dem größten Teil des Preisverfalls beim KI-Serving: ein destilliertes Modell, das die routinemäßige Mehrheit der Anfragen zu einem Zehntel der Kosten bearbeitet, ist die größte Einsparung, die den meisten Produkten zur Verfügung steht.
Zwei Grenzen sind erwähnenswert. Ein Schüler erbt die Fehler des Lehrers zusammen mit seinen Fähigkeiten, sodass sich Fehler eher fortpflanzen, als dass sie ausgeglichen werden. Und Schüler verallgemeinern schlecht über die Verteilung hinaus, auf der sie destilliert wurden – stark bei den Aufgaben im Trainingsdatensatz, merklich schwächer knapp außerhalb davon.
Die Lizenzierungsfrage ist aktuell. „Sie dürfen die Ausgaben nicht zur Entwicklung von Modellen verwenden, die mit uns konkurrieren“ steht in den meisten kommerziellen API-Bedingungen und in mehreren Open-Weight-Lizenzen. Ob eine gegebene Destillation zulässig ist, ist eine Vertragsfrage, und sie ist zu einem wiederkehrenden Streitpunkt in der Branche geworden.
Häufige Fragen
- Ist Destillation legal?
- Es kommt auf die Quelle an. Die meisten kommerziellen API-Bedingungen beschränken die Nutzung von Ausgaben zum Trainieren konkurrierender Modelle, und einige Open-Weight-Lizenzen tun dies ebenfalls. Das Destillieren aus einem Modell, das Sie für diesen Zweck nutzen dürfen, ist gängige Praxis.
- Wie viel Fähigkeit überlebt die Destillation?
- Ein großer Teil innerhalb des Bereichs, der von den Trainingsbeispielen abgedeckt wird, und viel weniger außerhalb davon. Die Schüler stimmen eng mit den Lehrern in der Verteilung überein, auf der sie destilliert wurden, und verschlechtern sich darüber hinaus.