Les agents conversationnels ne sont pas encore fiables. Dernière illustration en date avec l’intégration de ChatGPT dans Bing. Présenté au siège de Microsoft, l’outil est supposé révolutionner la recherche sur Internet. Pourtant, l’IA intégrée dans le moteur de recherche aurait tout bonnement inventé des informations lors de sa première démonstration publique, selon une analyse de Dmitri Brereton, un ingénieur logiciel indépendant.
“Des réponses complètement fausses”
“L’IA de Bing a donné des réponses complètement fausses pendant sa démo, mais personne n’a remarqué. Au lieu de cela, tout le monde suit la hype de Bing”, ironise à raison le spécialiste qui a relevé un grand nombre d’incohérences et d’informations inventées par l’intelligence artificielle.
Interrogé sur un comparatif entre trois aspirateurs, le chabot aurait inventé des caractéristiques ou omis des détails pertinents pour la recherche. Parallèlement, après une demande au sujet de la vie nocturne à Mexico, l’IA aurait imaginé des spécificités pour certains bars de la capitale mexicaine. Enfin, questionné sur le bilan financier de Gap, l’agent conversationnel a généré un résumé de ce qui semble être un bilan comptable, au détail près que plusieurs chiffres étaient faux.
“Bing AI est incapable d’extraire des chiffres précis d’un document et invente des informations en toute confiance, même lorsqu’il prétend avoir des sources. Il n’est absolument pas prêt à être lancée et ne devrait pas être utilisé par quiconque souhaite obtenir un modèle précis de la réalité”, affirme le chercheur.
Microsoft travaille à l’amélioration de son IA
Dans un courriel relayé par CNN, Microsoft dit être informé du rapport de Dmitri Brereton et avoir tiré les enseignements afin d’améliorer l’expérience de l’IA dans Bing. “Nous reconnaissons qu’il y a encore du travail à faire et nous nous attendons à ce que le système fasse des erreurs pendant la période de test. C’est pourquoi le retour d’information est essentiel pour que nous puissions apprendre et aider les modèles à s’améliorer”, justifie la firme de Redmond.
Le phénomène observé avec ChatGPT dans Bing semble relever de l’“hallucination”, un procédé identifié depuis longtemps par les chercheurs en IA. Aléatoirement, ou quand il ne sait pas répondre à une requête précise, le modèle peut inventer des informations préalablement absentes dans sa base de connaissances.
“Ce type d’intelligence artificielle peut parfois conduire à ce que nous appelons une hallucination [et fournir] une réponse convaincante, mais complètement fictive”, a reconnu Prabhakar Raghavan, vice-président senior de Google et responsable de Google Search.
De son côté, Bard a également commis une erreur factuelle lors de sa première présentation. À en juger le rapport de Dmitri Brereton sur la nouvelle mouture de Bing, cette dernière semble aujourd’hui en comparaison moins grave.
