Feinabstimmung, Retrieval oder ein besserer Prompt: So treffen Sie die richtige Wahl
Drei Wege, ein Modell zum gewünschten Verhalten zu bringen – mit sehr unterschiedlichen Kosten und Lebenszyklen. Ein Entscheidungsleitfaden, der sich danach richtet, wo das Problem tatsächlich liegt, statt danach, welche Technik am anspruchsvollsten klingt.
Kurze Antwort
Sollte ich ein Modell feinabstimmen, RAG einsetzen oder meinen Prompt verbessern?
Diagnostizieren Sie zuerst den Fehler. Wenn das Modell etwas nicht weiß, besteht eine Wissenslücke, die sich durch Retrieval schließen lässt. Wenn das Modell über das nötige Wissen verfügt, aber in der falschen Form, im falschen Ton oder Format antwortet, liegt eine Verhaltenslücke vor: Zunächst hilft Prompting, an zweiter Stelle die Feinabstimmung. Scheitert das Modell trotz beider Maßnahmen an einer spezialisierten Fähigkeit, bleibt die Feinabstimmung. Prompting ist am günstigsten und leicht umkehrbar, Retrieval ist die richtige Standardlösung für Fakten, und die Feinabstimmung ist von den drei Optionen die teuerste und am schwersten rückgängig zu machen.
Das Wichtigste
- Die drei Techniken beheben unterschiedliche Arten von Fehlern. Sich für eine davon zu entscheiden, bevor der Fehler diagnostiziert wurde, ist der häufigste und teuerste Fehler.
- Fine-Tuning fügt nicht zuverlässig Fakten hinzu. Es formt Verhalten — Format, Tonfall, Stil, eine eng umrissene Fähigkeit —, und auf diesem Weg gelernte Fakten lassen sich nur schwer aktualisieren und nicht belegen.
- Retrieval ist die richtige Standardlösung für alles, was sich ändert, alles, was eine Quellenangabe benötigt, und alles, das nutzerspezifischen Berechtigungen unterliegt.
- Prompting ist nicht die Einsteigeroption. Ein gut strukturierter Prompt mit Beispielen löst einen großen Teil der Probleme, die Teams durch Training zu lösen versuchen.
- Fine-Tuning verursacht Wartungskosten, die in Kalkulationen selten berücksichtigt werden: Jedes Upgrade des Basismodells wirft die Frage erneut auf.
Ein Modell tut nicht, was Sie benötigen. Drei Techniken stehen zur Wahl, doch die Entscheidung wird meist in der falschen Reihenfolge getroffen – jemand legt zuerst den Ansatz fest und konstruiert anschließend eine Begründung. Feinabstimmung klingt am substanziellsten, weshalb sie am häufigsten vorgeschlagen wird und am seltensten funktioniert.
Die verlässliche Reihenfolge ist umgekehrt. Diagnostizieren Sie den Fehler, denn aus ihm ergibt sich die passende Technik.
Drei Fehler, drei Werkzeuge
Fast jede Beschwerde über das Verhalten eines Modells lässt sich einer von drei Kategorien zuordnen.
Eine Wissenslücke. Das Modell weiß etwas nicht – etwa den Inhalt Ihres Produktkatalogs, eine Richtlinienänderung aus der vergangenen Woche oder die Bestellhistorie dieses Kunden. Es kann dieses Wissen nicht haben, weil es weder in den Trainingsdaten noch im Prompt enthalten war.
Eine Verhaltenslücke. Das Modell weiß genug, antwortet aber in der falschen Form: zu ausführlich, im falschen Ton, ohne einen vorgeschriebenen Abschnitt, mit Begriffen, die in Ihrer Branche nicht üblich sind, oder obwohl es eine Antwort ablehnen sollte.
Eine Kompetenzlücke. Das Modell bewältigt eine spezialisierte Aufgabe schlecht, obwohl ihm die richtigen Informationen und klare Anweisungen vorliegen – etwa eine domänenspezifische Klassifizierung mit subtilen Abgrenzungen, eine seltene formale Notation oder eine Beurteilung, die von Konventionen abhängt, die im öffentlichen Internet kaum vertreten sind.
Warum Feinabstimmung keine Wissenslücken schließt
Dies ist das folgenreichste Missverständnis auf diesem Gebiet und verdient daher eine präzise Betrachtung.
Bei der Feinabstimmung werden die Gewichte anhand von Beispielpaaren angepasst. Die in diesen Beispielen enthaltenen Fakten erscheinen anschließend tatsächlich mit höherer Wahrscheinlichkeit in der Ausgabe. Daraus ergeben sich jedoch keineswegs die Eigenschaften, die ein Wissenssystem benötigt:
- Sie können nicht vollständig erfassen, was gelernt wurde. Es gibt keine Abfrage, die ausgibt, welche Fakten übernommen wurden.
- Sie können nicht nur ein einzelnes Faktum aktualisieren. Um einen einzigen Preis zu korrigieren, muss ein neuer Datensatz zusammengestellt und das Modell erneut trainiert werden.
- Das Modell kann keine Quellen angeben. Es gibt die Information ohne nachvollziehbare Quelle aus und ist damit in jedem regulierten oder prüfungspflichtigen Kontext unbrauchbar.
- Berechtigungen lassen sich nicht anwenden. Ein Modell, das mit den Daten sämtlicher Kunden trainiert wurde, kann jedem Nutzer Fragen zu allen Kundendaten beantworten.
- Selbstbewusste Fehler werden schlimmer, nicht besser. Die Feinabstimmung mit Fakten erhöht meist die sprachliche Sicherheit und das Vertrauen, mit dem das Modell über ein Fachgebiet spricht, ohne die Genauigkeit entsprechend zu steigern. Das ist die denkbar ungünstigste Kombination.
Retrieval weist in jedem dieser Punkte das umgekehrte Profil auf. Ändern Sie das Dokument, ändert sich die nächste Antwort. Jede Passage hat eine ID. Berechtigungen werden als Filter angewandt, bevor das Modell überhaupt etwas sieht.
Warum Prompting unterschätzt wird
Teams betrachten Prompting häufig als Einsteigerlösung, über die ernsthafte Systeme irgendwann hinauswachsen. In der Praxis lässt sich ein großer Teil der Verhaltensprobleme damit lösen, weil die meisten schwachen Prompts an denselben drei Punkten scheitern.
Keine Beispiele. Zwei oder drei Demonstrationen der gewünschten Ausgabeform sind wertvoller als mehrere Absätze, die diese Form beschreiben. Zeigen Sie das gewünschte Ergebnis, statt es nur zu spezifizieren.
Keine Struktur. In Fließtext versteckte Anweisungen werden uneinheitlich befolgt. Abschnitte, nummerierte Vorgaben und ein ausdrücklich festgelegtes Ausgabeformat werden deutlich zuverlässiger eingehalten.
Keine Erlaubnis, eine Antwort abzulehnen. Ein Prompt, der nicht festlegt, was bei einer unbekannten Antwort zu tun ist, verlangt implizit dennoch eine Antwort. Ein einziger Satz – "wenn die Dokumente die Antwort nicht enthalten, weisen Sie darauf hin und brechen Sie ab" – beseitigt eine ganze Kategorie erfundener Angaben.
Prompting besitzt außerdem eine Eigenschaft, die den beiden anderen Ansätzen fehlt: Es ist in Sekundenschnelle umkehrbar. Solange sich die Anforderungen noch ändern, ist das wertvoller als jeder Effizienzgewinn.
Die tatsächlichen Grenzen liegen bei den Kosten und der Konsistenz. Ein System-Prompt mit 2.000 Tokens wird bei jeder Anfrage abgerechnet, und sehr lange Anweisungssätze werden uneinheitlich befolgt. Wenn ein Verhalten feststeht und das Anfragevolumen hoch ist, ist seine Überführung in die Modellgewichte die richtige Optimierung. Das ist jedoch eine Effizienzentscheidung, die erst getroffen wird, nachdem das gewünschte Verhalten bekannt ist, und kein Verfahren, um dieses Verhalten überhaupt erst zu bestimmen.
Wofür Feinabstimmung wirklich geeignet ist
Drei Fälle rechtfertigen sie eindeutig.
Einheitliches Format und einheitlicher Stil bei großem Volumen. Wenn jede Antwort einer redaktionellen Hausstruktur entsprechen muss und Prompting eine Trefferquote von 95 % erzielt, kann das Training mit einigen Hundert konsistenten Beispielen diesen Wert deutlich steigern und zugleich die Anweisungs-Tokens aus jeder Anfrage entfernen.
Erwerb eng umrissener Fähigkeiten. Eine Klassifizierung mit subtilen fachlichen Abgrenzungen, eine interne Notation oder eine Hauskonvention, die im öffentlichen Internet nicht vertreten ist. Nur diese der drei Techniken verändert, was das Modell leisten kann, statt lediglich festzulegen, was es tun soll.
Ein kleines Modell ausreichend machen. Dies ist der wirtschaftlich interessanteste Fall. Ein feinabgestimmtes kleines Modell, das bei einer eng umrissenen Aufgabe die Leistung eines Spitzenmodells erreicht, kann Kosten und Latenz erheblich senken und ermöglicht häufig erst eine tragfähige selbst gehostete Bereitstellung.
Parametereffiziente Verfahren – bei denen ein kleiner Adapter statt des gesamten Netzes trainiert wird – haben alle drei Anwendungsfälle erheblich günstiger gemacht. Das verändert die Kalkulation, nicht aber die Diagnose. Eine günstige Lösung für das falsche Problem bleibt die falsche Lösung.
Was Kostenschätzungen auslassen
Zusammenstellung des Datensatzes. Benötigt werden einige Hundert bis einige Tausend konsistente und korrekte Beispiele, was meist Kennzeichnungsarbeit bedeutet. Widersprüchliche Beispiele sind schlimmer als gar keine Beispiele – sie bringen dem Modell inkonsistentes Verhalten bei.
Evaluierung. Sie benötigen einen zurückgehaltenen Testdatensatz und ein Verfahren für den Vorher-nachher-Vergleich. Andernfalls lässt sich nicht feststellen, ob das feinabgestimmte Modell tatsächlich besser ist. Dieser Schritt wird am häufigsten ausgelassen, obwohl erst er den Unterschied messbar macht.
Das Hamsterrad der Basismodelle. Jede Aktualisierung des Basismodells wirft die Frage erneut auf: Trainieren Sie mit dem neuen Basismodell noch einmal oder bleiben Sie beim alten und verzichten auf die Verbesserung? Diese Entscheidung kehrt auf unbestimmte Zeit wieder. Beim Prompting besteht dieses Problem nicht – ein besseres Basismodell steht einfach zur Verfügung.
Regressionsrisiko. Das Training auf ein bestimmtes Verhalten kann andere Fähigkeiten beeinträchtigen. Ohne einen breit angelegten Evaluierungsdatensatz wird dies erst von den Nutzern entdeckt.
Die Reihenfolge, die funktioniert
- Beschreiben Sie den Fehler in einem Satz und ordnen Sie ihn ein: Wissen, Verhalten oder Kompetenz.
- Erstellen Sie zuerst den Evaluierungsdatensatz aus echten Fehlerfällen. Ohne ihn lässt sich keiner der drei Ansätze beurteilen.
- Verbessern Sie den Prompt. Ergänzen Sie Beispiele, eine klare Struktur und eine ausdrückliche Möglichkeit, eine Antwort abzulehnen. Messen Sie das Ergebnis.
- Ergänzen Sie Retrieval, wenn der Fehler Fakten betrifft. Prüfen Sie das Retrieval getrennt von der Generierung.
- Nehmen Sie eine Feinabstimmung vor, aber nur, wenn ein Verhalten feststeht und seine Umsetzung per Prompt zu teuer ist oder nach den Schritten 3 und 4 weiterhin eine echte Kompetenzlücke besteht.
Die meisten Teams, die diese Reihenfolge einhalten, hören bei Schritt 3 oder 4 auf. Das ist kein Mangel an Ehrgeiz, sondern das richtige Ergebnis. Die Monate, die nicht in den Aufbau einer Trainingspipeline fließen, sind der Ertrag einer frühzeitigen Diagnose.
Häufige Fragen
- Kann Fine-Tuning einem Modell die Daten meines Unternehmens beibringen?
- Nur unzuverlässig. Training erhöht die Wahrscheinlichkeit, dass manche Inhalte auftauchen, aber man kann nicht abfragen, welche Fakten gelernt wurden, man kann keinen davon ohne erneutes Training aktualisieren, und das Modell kann keine Quelle angeben. Für Unternehmenswissen ist Retrieval das richtige Werkzeug.
- Worin ist Fine-Tuning wirklich gut?
- Darin, ein Modell dazu zu bringen, verlässlich ein bestimmtes Format zu erzeugen, einen Hausstil zu übernehmen, die Konventionen einer Fachdomäne einzuhalten oder eine eng gefasste Klassifizierungsaufgabe so gut zu erfüllen, dass ein kleineres, günstigeres Modell ein größeres ersetzen kann.
- Wie viele Beispiele braucht Fine-Tuning?
- Deutlich weniger, als man annimmt, wenn es um Stil und Format geht — oft genügen einige Hundert sorgfältig ausgewählte, konsistente Beispiele. Konsistenz zählt mehr als Menge; widersprüchliche Beispiele bringen dem Modell bei, uneinheitlich zu sein.
- Ist ein langer System-Prompt schlechter als Fine-Tuning?
- Er kostet bei jeder Anfrage Tokens, was im großen Maßstab ins Gewicht fällt, und sehr lange Anweisungen werden ungleichmäßig befolgt. Dafür lässt er sich sofort bearbeiten und sofort rückgängig machen, was viel wert ist, solange sich die Anforderungen noch ändern.
- Kann ich beides kombinieren?
- Ja, ausgereifte Systeme tun das in der Regel: ein fein abgestimmtes Modell, das zuverlässig das richtige Format liefert, Retrieval, das aktuelle Fakten beisteuert, und ein kompakter Prompt, der die anfragespezifischen Anweisungen übernimmt.