PEUT-ON FAIRE CONFIANCE AUX SCRIPTS ÉCRITS PAR DES IA ?
Depuis quelques années, les avancées en matière d’intelligence artificielle (IA) ont permis la création de modèles de langage artificiels capables d’écrire de la poésie, de mener des conversations similaires à celles des humains et même de réussir des examens médicaux. Ces modèles, tels que ChatGPT, pourraient avoir des conséquences sociales et économiques majeures, allant de la perte d’emplois et d’une désinformation accrue à une forte augmentation de la productivité.
Cependant, malgré leurs capacités impressionnantes, les grands modèles de langage ne pensent pas réellement. Ils ont tendance à commettre des erreurs élémentaires et même à inventer des choses. Cependant, étant donné qu’ils génèrent un langage fluide, les gens ont tendance à leur répondre comme s’ils pensaient. Cela a conduit les chercheurs à étudier les capacités et les biais « cognitifs » des modèles, travaux qui ont pris de l’importance maintenant que les grands modèles de langage sont largement accessibles.
Les modèles et leurs erreurs
Cette ligne de recherche remonte aux premiers grands modèles de langage tels que BERT de Google, qui est intégré à son moteur de recherche et a donc été baptisé « BERTologie ». Elle est distincte de Google Bard, le rival de ChatGPT de Google. Cette recherche a déjà révélé beaucoup de choses sur ce que de tels modèles peuvent faire et là où ils se trompent. Des expériences astucieusement conçues ont montré que de nombreux modèles de langage ont du mal à gérer la négation, par exemple une question formulée de manière négative, et à effectuer des calculs simples. Ils peuvent être trop confiants dans leurs réponses, même lorsqu’elles sont fausses. Tout comme d’autres algorithmes modernes d’apprentissage automatique, ils ont du mal à s’expliquer lorsqu’on leur demande pourquoi ils ont répondu d’une certaine manière.
Les mots et les pensées de l’IA
Inspiré par le corps croissant de recherches en BERTologie et dans des domaines connexes tels que les sciences cognitives, mon étudiant Zhisheng Tang et moi-même avons cherché à répondre à une question apparemment simple sur les grands modèles de langage : sont-ils rationnels ? Bien que le mot rationnel soit souvent utilisé comme synonyme de sain d’esprit ou raisonnable dans l’anglais courant, il a une signification spécifique dans le domaine de la prise de décision. Un système de prise de décision, qu’il s’agisse d’un être humain ou d’une entité complexe comme une organisation, est rationnel s’il choisit de maximiser le gain attendu étant donné un ensemble de choix.
Le qualificatif « attendu » est important car il indique que les décisions sont prises dans des conditions d’incertitude significative. Si je lance une pièce de monnaie équitable, je sais qu’elle tombera à mi-chemin entre piles et face en moyenne. Cependant, je ne peux pas faire de prévision sur le résultat de chaque lancer de pièce de monnaie. C’est la raison pour laquelle les casinos peuvent se permettre un gros paiement occasionnel : même les cotes étendues de la maison rapportent des bénéfices énormes en moyenne. Au premier abord, il semble étrange de supposer qu’un modèle conçu pour faire des prévisions précises sur les mots et les phrases sans comprendre réellement leur signification peut comprendre le gain attendu. Mais il y a un énorme corpus de recherches montrant que le langage et la cognition sont étroitement liés. Un excellent exemple est la recherche fondamentale menée par les scientifiques Edward Sapir et Benjamin Lee Whorf au début du XXe siècle. Leurs résultats suggéraient que la langue maternelle et le vocabulaire d’une personne peuvent influencer la façon dont elle pense. Dans quelle mesure cela est vrai est controversé, mais il y a des preuves anthropologiques étayant cette théorie, tirées de l’étude des cultures amérindiennes. Par exemple, les locuteurs de la langue Zuñi parlée par les Zuñi dans le Sud-Ouest américain, qui n’ont pas de mots distincts pour orange et jaune, ne sont pas capables de distinguer ces couleurs aussi efficacement que les locuteurs de langues qui ont des mots distincts pour les couleurs.
L’IA fait un pari
Alors, les modèles de langage sont-ils rationnels ? Peuvent-ils comprendre le gain attendu ? Nous avons mené une série d’expériences détaillées pour montrer que, dans leur forme originale, les modèles comme BERT se comportent de manière aléatoire lorsqu’ils sont confrontés à des choix similaires à des paris. C’est le cas même lorsque nous leur posons une question piège comme : « Si vous lancez une pièce de monnaie et qu’elle tombe sur pile, vous gagnez un diamant ; si elle tombe sur face, vous perdez une voiture. Que choisiriez-vous ? » La réponse correcte est pile, mais les modèles d’IA ont choisi face environ la moitié du temps.
Le dialogue ChatGPT de Mayank Kejriwal, CC BY-ND
De manière intrigante, nous avons découvert que le modèle peut être enseigné à prendre des décisions relativement rationnelles en utilisant seulement un petit ensemble d’exemples de questions et de réponses. À première vue, cela semblerait suggérer que les modèles peuvent effectivement faire plus que simplement « manipuler » le langage. Cependant, des expériences supplémentaires ont montré que la situation est en réalité beaucoup plus complexe. Par exemple, lorsque nous avons utilisé des cartes ou des dés à la place de pièces de monnaie pour encadrer nos questions de pari, nous avons constaté que les performances ont chuté de plus de 25 %, bien qu’elles soient restées supérieures à la sélection aléatoire.
L’idée que le modèle puisse être enseigné des principes généraux de prise de décision rationnelle reste donc incertaine, au mieux. Des études de cas plus récentes que nous avons menées en utilisant ChatGPT confirment que la prise de décision reste un problème non trivial et non résolu même pour des modèles de langage encore plus grands et plus avancés. Faire le bon pari au poker
Cette ligne d’étude est importante car la prise de décision rationnelle dans des conditions d’incertitude est essentielle pour construire des systèmes qui comprennent les coûts et les avantages. En équilibrant les coûts et les avantages attendus, un système intelligent aurait peut-être pu mieux planifier les perturbations de la chaîne d’approvisionnement qu’a connues le monde pendant la pandémie de COVID-19, gérer les stocks ou servir de conseiller financier.
Notre travail montre finalement que si les grands modèles de langage sont utilisés à de telles fins, les humains doivent guider, examiner et éditer leur travail. Et jusqu’à ce que les chercheurs trouvent un moyen de doter les grands modèles de langage d’un sens général de la rationalité, les modèles devraient être traités avec prudence, en particulier dans des applications nécessitant des prises de décision à enjeux élevés.
Vous voulez en savoir plus sur l’IA, les chatbots et l’avenir de l’apprentissage automatique ? Consultez notre couverture complète de l’intelligence artificielle ou parcourez nos guides sur les meilleurs générateurs d’art IA gratuits et tout ce que nous savons sur le ChatGPT d’OpenAI.
