Alucinación

Una alucinación es una respuesta de un modelo de IA que suena bien y está mal: un fallo judicial que nunca existió, una cita que nadie dijo, una función de programación que no existe, una fecha equivocada en una oración perfecta. El modelo no miente; no tiene idea de que se equivocó. Produjo el texto que sonaba más plausible, y plausible no es lo mismo que cierto.

Pasa por cómo funciona un LLM. Escribe prediciendo tokens probables según los patrones de sus datos de entrenamiento. Cuando el dato estaba bien representado en esos datos, la continuación probable suele ser correcta. Cuando no (un tema oscuro, un detalle privado, algo posterior a su fecha de corte), la continuación probable sigue siendo fluida, pero inventada. No hay ningún paso interno que la compare con la realidad.

Las alucinaciones son la razón principal por la que no podés usar un chatbot como enciclopedia. Hubo abogados sancionados por presentar escritos con citas inventadas. Las soluciones son parciales: darle al modelo los documentos reales (RAG), dejarlo buscar y citar fuentes, pedirle que diga 'no sé', y modelos nuevos entrenados para abstenerse más seguido cuando dudan. Ninguna lleva la tasa a cero.

La regla práctica: usá los modelos para redactar, resumir, explicar y tirar ideas, y verificá cualquier dato puntual, número, nombre o cita antes de apoyarte en eso.