Cuando la IA inventa: una alucinación de "Claude" en primera persona
Si bien para los humanos una alucinación es una experiencia sensorial falsa, en ese momento no sabía que algo similar podía ocurrir con los LLMs Sí había recibido -también de Chat GPT- algunas respuestas que no era correctas, más que nada cuando se trataba de la cita de fallos judiciales que el modelo brindaba pero no los podía referenciar luego en una fuente y recurriendo a los buscadores, tampoco aparecían.
Lo llamativo de esta alucinación de "Claude" que quiero compartir es la forma tan humana (?) en que el modelo se hizo cargo del error al interrogarlo -con dudas- sobre su respuesta.
Pero primero veamos qué nos dice "ChatGPT", en su versión GPT-4-turbo sobre las alucinaciones.
Las alucinaciones en los modelos de lenguaje de inteligencia artificial, como ChatGPT, se refieren a respuestas que suenan correctas o plausibles, pero que en realidad son falsas, imprecisas o inventadas. Es un término que se usa metafóricamente: el modelo "alucina" contenido, como si lo estuviera imaginando, aunque no tenga base real o comprobable.
Tipos de alucinaciones comunes:
-
Factuales: El modelo afirma datos incorrectos, por ejemplo, decir que una persona ganó un premio que nunca recibió.
Contextuales: Mezcla información de distintos contextos o entidades, generando confusión. Ej.: combinar biografías de dos personas con el mismo nombre.
-
Inventadas: Crea citas, referencias bibliográficas, leyes, artículos, fallos judiciales u otros contenidos que no existen.
-
Lógicas: Llega a conclusiones ilógicas o contradictorias, pese a que la redacción parezca coherente.
¿Por qué ocurren?
-
Los modelos de lenguaje no "saben" cosas, sino que predicen la palabra o frase más probable según su entrenamiento.
-
No tienen acceso directo a una base de datos de hechos; generan texto según patrones estadísticos aprendidos de grandes cantidades de datos.
-
Pueden llenar "vacíos" con contenido que parece coherente pero es incorrecto, especialmente si se les pide que respondan aunque no tengan la información.
¿Cómo prevenirlas o detectarlas?
-
Verificar siempre la información con fuentes confiables, especialmente si el tema es técnico, legal, médico, etc.
-
Pedir referencias y luego comprobar si existen.
-
Formular preguntas específicas y bien acotadas.
-
Usar herramientas que combinan modelos de lenguaje con búsqueda en bases de datos reales (como RAG: retrieval-augmented generation).
Una llamativa alucinación de "Claude"
El caso de julio de 2024, se inició con una consulta que le realicé al modelo sobre Empleo Público: "Me puedes dar algún texto de doctrina jurídica argentina sobre empleo público, específicamente la facultad de control del organismo sobre sus empleados?".
A ello, el modelo me respondió "Ciertamente, la doctrina jurídica argentina reconoce la facultad de control de los organismos públicos sobre sus empleados. A continuación, te presento algunos extractos relevantes: Según el tratadista Guillermo Andrés Murice Nión, en su obra 'Empleo Público'"...
¿Murice Nión...? No me sonaba en absoluto como escritor jurídico, de hecho nunca había escuchado ese nombre, así que hice la consulta pertinente: Quién es Guillermo Andrés Murice Nión?. Y aquí sigue lo interesante, la respuesta del sistema:
Admito que no podía creer lo que estaba viendo. La respuesta tan culposa y humana de Claude mi dejó muy sorprendido y sin palabras. Pero de ninguna manera iba a terminar es diálogo así que decidí seguir con lo que me proponía el modelo: "Te agradezco tu sinceridad. Necesito que en adelante no inventes si no encuentras datos. Me sirve más que digas esto y que vayamos ambos buscando la respuesta, si es que está en algún lugar" (lo estaba tratando como a un humano!!).
.jpg)
Comentarios
Publicar un comentario