À l’instar des humains, les intelligences artificielles peuvent parfois déraper. Une parodie de la série humoristique américaine Seinfeld, générée par IA et diffusée sur Twitch, a été bannie de la plateforme après qu’un personnage a prononcé une réplique à caractère transphobe. La sanction n’est que temporaire, précise un des créateurs du projet à The Register.
Un dérapage incontrôlé
Nothing, Forever parodie les personnages de Seinfeld avec un ton décalé qui reprend les codes des jeux vidéo. Cette série est diffusée en continu 24h/24 et 7j/7 sur Twitch et a pour particularité d’être générée en toute autonomie. Les dialogues des personnages s’appuient sur le modèle GPT-3 développé par OpenAI, puis le texte est retranscrit à l’aide d’algorithmes de synthèse vocale. Enfin, les arrière-plans et scènes sont intégralement générés par l’IA.
Cette parodie rencontrait un certain succès jusqu’au lundi 6 février 2023, date à laquelle Twitch a décidé de suspendre sa diffusion. Selon Skyler Hartle, cofondateur de Mismatch Media et l’un des créateurs de Nothing, Forever, la tirade d’un des personnages a totalement dérapé. L’acteur principal, Larry Feinberg, y affirme que les personnes transgenres “ruinent le tissu social” et sont victimes d’une maladie mentale. Et d’ajouter : “Tous les libéraux sont secrètement gays.”
Cette saillie aurait été produite intégralement par l’intelligence artificielle. “Le texte que nous avons généré était une erreur, assure Skyler Hartle. Nous sommes très embarrassés, le contenu génératif créé ne reflète en aucun cas nos valeurs ou opinions. Nous regrettons beaucoup ce qu’il s’est passé et espérons revenir bientôt avec toutes les mesures de protection appropriées en place.”
Le changement du modèle d’IA en cause ?
Le “bogue” se serait produit après une modification du système de génération des dialogues, les créateurs étant passés du modèle Davinci (text-davinci-003) à une version moins chère et plus lente, baptisée Curie (text-curie-001). N’ayant pas utilisé de fonctionnalités logicielles pour modérer les contenus, ce modèle expliquerait le dérapage. “Nous avons examiné le problème plus en détail et avons découvert que nous n’utilisions pas correctement les outils de modération de contenu d’OpenAI”, assure le cocréateur de la parodie, qui indique que le bannissement sera limité à 15 jours.
Pour fonctionner, les modèles d’IA génératifs sont entraînés sur le web (phase d’apprentissage profond). Or des contenus potentiellement haineux ou offensants peuvent être emmagasinés dans leur base de connaissances. Même si des filtres sont appliqués, certains propos ou expressions peuvent passer au travers des mailles du filet. Avec la multiplication des projets basés sur l’intelligence artificielle, le développement d’outils de modération poussés va devenir crucial.
