Halluzination
confabulation · fabrication
Kurz gesagt
Eine Halluzination ist eine Ausgabe, die flüssig und selbstbewusst, aber sachlich falsch oder unbelegt ist – eine erfundene Zitation, eine nicht existierende Funktion, eine plausible Zahl ohne Quelle. Sie tritt auf, weil das Modell statistisch wahrscheinliche Fortsetzungen generiert, und eine plausibel klingende Behauptung ist nicht zwangsläufig wahr.
Das Wort ist unpräzise – das Modell nimmt nichts wahr –, aber es hat sich gehalten. Was es beschreibt, ist real und vorhersehbar: eine Ausgabe, die wie eine gut belegte Antwort klingt und keine ist.
Der Mechanismus ist einfach. Ein Sprachmodell erzeugt wahrscheinliche Textfortsetzungen. „Die einschlägige Bestimmung ist Artikel 14 Absatz 3“ ist eine sehr wahrscheinliche Satzform in einer juristischen Antwort, unabhängig davon, ob Artikel 14 Absatz 3 etwas derartiges besagt. Das Modell hat keinen separaten Schritt, der die Behauptung mit der Welt abgleicht.
Bestimmte Bedingungen erhöhen die Rate zuverlässig: Fragen zu spezifischen Bezeichnern, Daten oder Zitaten; Themen, die in den Trainingsdaten spärlich vorhanden sind; Anfragen, die etwas Falsches voraussetzen; und jede Aufforderung, die das Eingestehen von Unwissenheit wie ein Versagen, hilfreich zu sein, erscheinen lässt.
Die wirksamen Abhilfemaßnahmen sind architektonischer Natur und nicht verbal:
- Verankern Sie die Antwort. Rufen Sie Quellpassagen ab und weisen Sie das Modell an, nur aus diesen zu antworten.
- Fordern Sie Zitate auf Behauptungsebene an, die als Links dargestellt werden, die ein Leser überprüfen kann.
- Erlauben Sie ausdrücklich die Verweigerung. „Wenn die Quellen die Antwort nicht enthalten, sagen Sie es.“
- Überprüfen Sie mechanisch, wo immer möglich – führen Sie den Code aus, lösen Sie die URL auf, prüfen Sie, ob der Bezeichner existiert.
- Messen Sie es. Verfolgen Sie die Rate anhand eines festen Evaluationsdatensatzes, anstatt sich auf Eindrücke zu verlassen.
Nichts davon macht ein Modell wahrheitsgemäß. Es macht falsche Antworten erkennbar, was ein anderes und erreichbares Ziel ist.
Häufige Fragen
- Kann Halluzinationen beseitigt werden?
- Nicht vollständig mit aktuellen Architekturen. Es kann erheblich reduziert werden, indem Antworten auf abgerufene Quellen gestützt werden, Zitate erforderlich sind und dem Modell ausdrücklich erlaubt wird, zu sagen, dass es etwas nicht weiß.
- Warum klingt das Modell so sicher, wenn es falsch liegt?
- Flüssigkeit und Faktizität werden durch denselben Mechanismus erzeugt. Nichts im Generierungsprozess verfolgt das Vertrauen in eine Aussage, daher gibt der Ton keine Auskunft über die Zuverlässigkeit.