환각 (Hallucination)
confabulation · fabrication
한 줄로
환각은 유창하고 확신에 차 있지만 사실이 아니거나 근거가 없는 출력이다. 없는 인용, 존재하지 않는 함수, 출처 없는 그럴듯한 숫자 같은 것들이다. 모델이 통계적으로 그럴듯한 이어짐을 생성하기 때문이며, 그럴듯한 주장이 곧 참인 주장은 아니다.
«환각»이라는 말은 부정확하다 — 모델은 아무것도 지각하지 않는다 — 하지만 굳어졌다. 가리키는 현상은 실재하고 예측 가능하다. 잘 취재된 답처럼 읽히지만 그렇지 않은 출력이다.
기제는 단순하다. 언어모델은 그럴듯한 이어짐을 만든다. "해당 조항은 제14조 제3항입니다"는 법률 답변에서 매우 그럴듯한 문장 «모양»이다. 제14조 제3항이 실제로 그런 말을 하든 말든. 모델에는 주장을 세계와 대조하는 별도 단계가 없다.
특정 조건이 확률을 확실히 올린다. 구체적 식별자·날짜·인용을 묻는 질문, 학습 데이터가 얇은 주제, 틀린 전제를 깔고 있는 요청, 그리고 «모른다»고 말하는 것이 불친절처럼 느껴지게 만드는 모든 프롬프트.
효과 있는 완화책은 말솜씨가 아니라 구조에 있다.
- 답을 근거에 묶어라. 출처 대목을 검색해 오고 그것만으로 답하게 한다.
- 인용을 요구하라. 주장 단위로 출처를 붙이고 독자가 확인할 수 있는 링크로 렌더링한다.
- 거절을 명시적으로 허용하라. "출처에 답이 없으면 모른다고 말하라."
- 기계적으로 검증하라. 코드를 실행하고, URL 을 열어보고, 식별자가 존재하는지 확인한다.
- 측정하라. 인상이 아니라 고정된 평가셋에서 비율을 추적한다.
이 중 무엇도 모델을 «정직하게» 만들지는 않는다. 틀린 답을 «발견 가능하게» 만들 뿐이다. 다른 목표이고, 달성 가능한 목표다.
자주 묻는 질문
- 환각을 없앨 수 있는가?
- 현재 구조로는 완전히는 못 한다. 검색된 출처에 답을 묶고, 인용을 요구하고, «모른다»를 명시적으로 허용하면 크게 줄일 수 있다.
- 틀렸는데 왜 그렇게 확신에 차 있는가?
- 유창함과 사실성이 같은 기제에서 나오기 때문이다. 생성 과정에는 주장에 대한 확신을 따로 추적하는 단계가 없고, 그래서 말투는 신뢰도에 대한 정보를 담지 않는다.