อาการหลอน

คำนี้ไม่แม่นยำ — โมเดลไม่ได้กำลังรับรู้สิ่งใด — แต่ก็ยังคงอยู่ สิ่งที่มันอธิบายนั้นเป็นจริงและคาดเดาได้: ผลลัพธ์ที่อ่านเหมือนคำตอบที่มีแหล่งอ้างอิงที่ดี แต่ไม่ใช่

กลไกนั้นตรงไปตรงมา โมเดลภาษาจะสร้างข้อความที่น่าจะเป็นไปได้มากที่สุด "บทบัญญัติที่เกี่ยวข้องคือมาตรา 14(3)" เป็นรูปแบบประโยคที่มีความเป็นไปได้สูงในคำตอบทางกฎหมาย ไม่ว่ามาตรา 14(3) จะกล่าวถึงสิ่งใดก็ตาม โมเดลไม่มีขั้นตอนแยกต่างหากที่ตรวจสอบข้อความกับโลกแห่งความเป็นจริง

เงื่อนไขบางประการจะเพิ่มอัตราการเกิดข้อผิดพลาดได้อย่างน่าเชื่อถือ: คำถามเกี่ยวกับตัวระบุ วันที่ หรือการอ้างอิงที่เฉพาะเจาะจง หัวข้อที่เบาบางในข้อมูลการฝึกอบรม คำขอที่ตั้งสมมติฐานว่าบางสิ่งไม่เป็นความจริง และข้อความแจ้งใดๆ ที่ทำให้การยอมรับความไม่รู้รู้สึกเหมือนความล้มเหลวในการให้ความช่วยเหลือ

มาตรการบรรเทาที่ได้ผลนั้นเป็นเชิงสถาปัตยกรรมมากกว่าเชิงภาษา:

• ยึดคำตอบกับแหล่งอ้างอิง ดึงข้อความต้นฉบับและสั่งให้โมเดลตอบจากข้อความเหล่านั้นเท่านั้น
• กำหนดให้มีการอ้างอิง ในระดับข้อความ โดยแสดงเป็นลิงก์ที่ผู้อ่านสามารถตรวจสอบได้
• อนุญาตให้ปฏิเสธได้อย่างชัดเจน "หากแหล่งข้อมูลไม่มีคำตอบ ให้แจ้งเช่นนั้น"
• ตรวจสอบด้วยกลไก เท่าที่ทำได้ — รันโค้ด แก้ไข URL ตรวจสอบว่าตัวระบุมีอยู่จริง
• วัดผล ติดตามอัตราบนชุดประเมินผลที่คงที่ แทนที่จะอาศัยความรู้สึก

ไม่มีสิ่งใดในนี้ที่ทำให้โมเดลมีความสัตย์จริง แต่มันทำให้คำตอบที่ผิดสามารถตรวจจับได้ ซึ่งเป็นเป้าหมายที่แตกต่างและสามารถบรรลุได้