Bref, les hallucinations sont inévitable et en plus sont amplifié par comment les IA sont faites : récompensées dès qu'elles réussissent à répondre. Non seulement c'est le modèle mathématique qui pose soucis, mais les méthodes d'évaluations empire ça, n'entrainant pas les IA à être "prudente" ce qui mitigerait un peu.
Et c'est logique, les IA sont vendus comme étant le truc magique qui peut répondre à tout, tout faire. Renvoyer une réponse qui ressemble à une réponse vrai est bien plus intéressant commercialement que de renvoyer un "désolé je ne sais pas", parce que c'est frustrant pour les utilisateur⋅ices et cela diminue leur argument de vente qui est la magie de l'IA qui va tous⋅tes nous remplacer.
De plus, la pensée techbro étant à fond dans le go fast and break things, ça amplifie ça.
Bref les hallucinations sont :
- Un effet inévitable des modèles mathématiques
- Amplifié par un modèle techbros qui répond à tout prix
- Amplifié par le modèle même de ce qui est venu dans l'IA, cet oracle qui répond à tout.