幻覚
confabulation · fabrication
ひとことで
ハルシネーションとは、流暢で自信に満ちたが、事実上誤っているか根拠がない出力のことです。作り出した引用、存在しない関数、根拠のない数値などが該当します。これはモデルが統計的にlikelyな続きを生成するため起こりますが、likelyに聞こえる主張が必ずしも真実とは限らないからです。
その言葉は不正確だ — — モデルは何も認識していない — — しかし、それは定着している。説明できるのは、それが現実的で予測可能なことだ：出典がしっかりした回答のように読めるが、実際にはそうではない出力だ。メカニズムは単純だ。言語モデルは、テキストの likely な続きを生成するだけだ。 "関連する条文は第14条第3項です" は、法的な回答で高頻度で出てくる文の形であり、第14条第3項が何も言っていないかどうかにかかわらず。モデルは、主張を世界と照合する別ステップを持っていない。
特定の条件が、この不正確さを確実に高める：特定の識別子、日付、引用についての質問；訓練データが乏しいトピック；誤った前提を含む要求；そして、無知を認めることが役に立たないと感じさせるプロンプト。
機能的な回避策は建築的なものだ：
- 根拠を示す。ソースの抜粋を取得し、モデルにそれらからだけ回答させる。
- 主張ごとに引用を要求し、読者が確認できるリンクとして提示する。
- 明示的に拒否を許可する。"ソースに答えが含まれていない場合は、そう答えなさい。"
- 機械的に検証できる部分は検証する — コードを実行し、URLを解決し、識別子が存在するか確認する。
- 測定する。固定評価セットでの率を追跡し、直感に頼るのではなくする。
これらのどれもモデルを真実味あるものにするわけではない。代わりに、誤った答えを検出可能にする。これは異なる目標だが、達成可能な目標だ。
よくある質問
- 幻覚はなくすことができるか?
- 完全には現在のアーキテクチャだけでは解決できない。回答を取得した資料に基づかせ、引用を要求し、モデルが答えを知らないことを許可すれば、大幅に削減できる。
- なぜモデルは間違っているのに、なぜか確信しているように聞こえるのか？
- 流暢さと事実性は同じメカニズムで生成される。生成過程では主張の信頼性を示す指標がなく、トーンは信頼性に関する情報を一切含まない。