Alucinación
confabulation · fabrication
En corto
Una alucinación es una salida que es fluida y segura pero factualmente incorrecta o sin respaldo: una cita inventada, una función inexistente, un número plausible sin fuente. Ocurre porque el modelo genera continuaciones estadísticamente probables, y una afirmación que suena plausible no es necesariamente verdadera.
La palabra es imprecisa —el modelo no está percibiendo nada—, pero se ha quedado. Lo que describe es real y predecible: una respuesta que parece bien fundamentada y no lo es.
El mecanismo es sencillo. Un modelo de lenguaje produce continuaciones probables de texto. "La disposición pertinente es el artículo 14(3)" es una forma de frase muy probable en una respuesta legal, independientemente de si el artículo 14(3) dice algo de ese tipo o no. El modelo no tiene un paso separado que verifique la afirmación con el mundo real.
Ciertas condiciones aumentan la tasa de forma fiable: preguntas sobre identificadores, fechas o citas específicas; temas escasos en los datos de entrenamiento; solicitudes que presuponen algo falso; y cualquier indicación que haga que admitir la ignorancia parezca un fracaso en ser útil.
Las mitigaciones que funcionan son arquitectónicas más que verbales:
- Fundamenta la respuesta. Recupera pasajes de fuentes e instruye al modelo para que responda solo a partir de ellos.
- Exige citas a nivel de afirmación, presentadas como enlaces que un lector puede verificar.
- Permite la negativa explícita. "Si las fuentes no contienen la respuesta, dilo".
- Verifica mecánicamente cuando sea posible: ejecuta el código, resuelve la URL, comprueba que el identificador existe.
- Mídela. Rastrea la tasa en un conjunto de evaluación fijo en lugar de depender de impresiones.
Nada de esto hace que un modelo sea veraz. Hace que las respuestas incorrectas sean detectables, lo cual es un objetivo diferente y alcanzable.
Preguntas frecuentes
- ¿Se puede eliminar la alucinación?
- No del todo con las arquitecturas actuales. Se puede reducir sustancialmente basando las respuestas en fuentes recuperadas, exigiendo citas y permitiendo explícitamente que el modelo diga que no sabe.
- ¿Por qué el modelo suena tan seguro cuando se equivoca?
- La fluidez y la veracidad se producen por el mismo mecanismo. Nada en el proceso de generación rastrea la confianza en una afirmación, por lo que el tono no proporciona información sobre la fiabilidad.