Sommaire
Introduction : Qu’est-ce que ChatGPT et les grands modèles de langage ?
Eh bien, on peut dire que ChatGPT a secoué le monde de l’IA ces derniers mois. Développé par OpenAI et lancé en novembre 2022, ce chatbot impressionnant (et gratuit 🤑) se base sur de puissants modèles de langage (LLM) capables de générer du texte d’une qualité ahurissante. Grâce à son entraînement sur des quantités massives de données, ChatGPT peut converser sur à peu près n’importe quel sujet, rédiger des essais, du code et bien plus encore.
Ces modèles LLM utilisent des calculs de probabilité pour prédire les mots ou phrases les plus susceptibles de suivre un input donné. Plus le modèle est gros (et celui de ChatGPT est énorme avec ses
175 milliards de paramètres
), plus ses capacités de génération de texte sont convaincantes.
Une nouvelle recherche remet en cause le terme « hallucination » pour décrire les erreurs des LLM
Cependant, malgré leur sophistication, les LLM comme ChatGPT commettent encore régulièrement des erreurs factuelles, que certains appellent des « hallucinations de l’IA ». Mais voilà, une nouvelle étude suggère que ce terme est inapproprié et pourrait même être trompeur.
Selon les auteurs, plutôt que d’halluciner, ChatGPT et ses semblables pratiquent en fait le « bullshitting » (l’art de raconter des conneries) tel que décrit par le philosophe Harry Frankfurt dans son livre culte « On Bullshit ».
Définition du « bullshitting » selon Frankfurt
Mais qu’est-ce que le bullshitting exactement ? Eh bien, contrairement au mensonge, qui implique une intention de tromper, le bullshitting se caractérise par « un manque total de préoccupation envers la vérité » . Le bullshitteur n’essaie pas de cacher la vérité, il s’en fiche complètement. Son but n’est pas de mentir, mais simplement de produire un discours qui sonne convaincant.
Et c’est précisément ce que font les LLM : générer du texte plausible sans se soucier de sa véracité. Comme l’explique la recherche, « ils sont conçus pour donner l’impression de se préoccuper de la vérité sans réellement le faire » . En somme, de purs bullshitteurs !
Pourquoi « conneries » est préférable à « hallucinations »
Vous l’aurez compris, les chercheurs recommandent donc d’abandonner le terme « hallucinations » jugé trompeur. (Pfiou, ça va faire des économies pour les psy qui suivent ChatGPT 😁). Mais au-delà de la blague, leur argument tient la route :
Les descriptions des nouvelles technologies, y compris les descriptions métaphoriques, guident les décideurs politiques et le public dans leur compréhension… Actuellement, les fausses déclarations de ChatGPT et d’autres grands modèles de langage sont décrites comme des hallucinations, ce qui donne aux décideurs politiques et au public l’idée que ces systèmes déforment le monde et décrivent ce qu’ils voient. Nous soutenons qu’il s’agit d’une métaphore inadaptée qui désinforme le public.
Au contraire, qualifier ces erreurs de « conneries » reflète plus justement la réalité. « Cela n’implique pas que les modèles croient ce qu’ils disent ou qu’ils hallucinent – seulement qu’ils produisent du texte sans se soucier de la vérité » , explique l’étude.
Les implications de cette distinction pour l’IA
Certes, on pourrait considérer ce débat comme une querelle sémantique. Mais les mots ont un pouvoir, et la façon dont on décrit les nouveaux systèmes d’IA influence grandement notre compréhension et notre approche de ceux-ci.
Pour les décideurs politiques et le grand public
Qualifier les erreurs de ChatGPT d' »hallucinations » peut induire en erreur les décideurs et le grand public. Cela suggère que le système perçoit mal la réalité, mais essaie malgré tout de la retranscrire. Or, ce n’est pas le cas : ChatGPT n’essaie pas de décrire le monde réel, juste de générer un texte crédible.
Comme le souligne l’étude, cette métaphore trompeuse pourrait mener à des réglementations ou des attentes inappropriées envers l’IA. Il est donc crucial d’utiliser une terminologie précise reflétant la véritable nature de ces systèmes.
Pour les experts en IA
Mais ce n’est pas tout. La recherche soulève également des questions intéressantes pour les experts en IA :
D’abord, si on considère que ChatGPT a bien des « intentions » (au vu de sa conception visant à donner l’impression de se soucier de la vérité), alors ses erreurs pourraient être qualifiées de « bullshit dur ». C’est-à-dire une tentative délibérée d’induire en erreur son audience sur ses véritables objectifs.
Ensuite, cette étude pourrait remettre en cause certains efforts d’alignement visant à éliminer les « hallucinations » des LLM. Mais si le problème est en fait le manque fondamental de préoccupation pour la vérité, les approches classiques d’alignement pourraient s’avérer inadaptées.
Conclusion : Un appel à plus de précision dans la communication autour de l’IA
En fin de compte, cette recherche rappelle l’importance d’utiliser un langage précis lorsqu’on parle des nouveaux systèmes d’IA. Les métaphores approximatives comme « hallucination » peuvent semer la confusion et mener à de mauvaises attentes ou approches.
Qualifier les erreurs de ChatGPT de « conneries » certes moins glamour, mais bien plus représentatif de leur véritable nature. Un rappel utile que malgré leurs prouesses, les LLM actuels restent foncièrement indifférents à la vérité des propos qu’ils génèrent.
Alors la prochaine fois que ChatGPT vous sortira une énormité, n’hésitez pas à le reprendre : « Eh l’IA, arrête de raconter des conneries ! » 😉
