L’IMPORTANCE DE LA DETECTION D’IMAGES GENEREES PAR IA POUR LA RECHERCHE OPEN SOURCE DETECTION D’IMAGES COMPRESSEES ET AVEC WATERMARKS
Plus tôt cette année, de nombreux utilisateurs des réseaux sociaux étaient convaincus que des photos du Pape François « branché », vêtu d’une doudoune blanche et d’une chaîne pendant à la manière d’une vidéo musicale de Hype Williams, étaient réelles (elles ne l’étaient pas). Une image générée par IA du Pape François, créée à l’aide de MidJourney. Ces images ont été créées grâce à l’IA générative, un terme qui désigne tout outil basé sur un modèle logiciel d’apprentissage profond capable de générer du contenu textuel ou visuel en fonction des données sur lesquelles il a été formé. Les images produites par l’IA sont d’une préoccupation particulière pour les chercheurs en sources ouvertes. DALL-E, Stable Diffusion, et Midjourney – ce dernier a été utilisé pour créer les fausses photos du Pape François – ne sont que quelques-uns des outils qui ont émergé ces dernières années, capables de générer des images suffisamment réalistes pour tromper l’œil humain. La désinformation alimentée par l’IA aura des implications directes pour la recherche en sources ouvertes – une seule image fausse non découverte, par exemple, pourrait compromettre toute une enquête.
Détection d’IA par AI ou Not
Plus tôt cette année, le New York Times a testé cinq outils conçus pour détecter ces images générées par IA. Les outils analysent les données contenues dans les images – parfois des millions de pixels – et recherchent des indices et des motifs qui peuvent déterminer leur authenticité. L’exercice a montré des progrès positifs, mais a également révélé des lacunes : deux outils, par exemple, ont considéré comme réelle une fausse photo d’Elon Musk embrassant un robot androïde. Bellingcat a cherché à répéter cette expérience en gardant à l’esprit la recherche en sources ouvertes. Nous avons testé l’un de ces outils- AI or Not – sur 200 images : la moitié d’entre elles réelles, l’autre moitié générées par IA. En particulier, nous voulions comprendre dans quelle mesure l’outil était efficace pour détecter les images avec des filigranes et les images qui ont été compressées – deux défis spécifiques souvent rencontrés par les chercheurs en sources ouvertes. Les résultats montrent une technologie adaptée à la navigation des filigranes mais qui rencontre des difficultés avec les images compressées.
L’outil « AI or Not » est développé par Optic, une entreprise de technologie américaine fondée par l’ancien directeur du produit chez Google, Andrey Doronichev. Il « utilise des algorithmes avancés et des techniques d’apprentissage automatique pour analyser les images et détecter les signes de génération par IA ». Il a été formé sur DALL-E, Midjourney, Stable Diffusion, des réseaux antagonistes génératifs et des générateurs d’images. L’entreprise affirme que l’outil est conçu pour fournir des résultats hautement précis.
LES RÉSULTATS DE LA DETECTION
Pour le test, Bellingcat a alimenté AI or Not avec 100 images réelles et 100 images générées par Midjourney. Les images réelles étaient de différents types : photographies réalistes et abstraites, peintures et dessins issus de films et de dessins animés ou capturés dans des jeux vidéo. Les images générées par Midjourney étaient des images photoréalistes, des peintures et des dessins. Midjourney a été programmé pour recréer certaines des peintures utilisées dans l’ensemble de données des images réelles. L’ensemble de données des images d’IA est disponible ici. L’ensemble de données des images réelles est disponible ici. Ce qui suit sont les résultats.
AI or Not a été très précis lors du premier tour d’identification. Il a été particulièrement doué pour identifier des images générées par IA – à la fois des images photoréalistes et des peintures et dessins. AI or Not a réussi à identifier des images visuellement difficiles comme ayant été créées par IA. Par exemple, une personne sans formation artistique professionnelle pourrait avoir du mal à identifier correctement cette fresque de style moderniste comme ayant été générée par Midjourney : Une fresque de style moderniste, créée par Midjourney. AI or Not a également réussi à identifier des images plus photoréalistes générées par Midjourney, comme cette image aérienne photoréaliste censée représenter un lac gelé du Canada. Une image d’un lac gelé, créée par Midjourney. Il a également identifié avec succès des peintures et des dessins réalistes générés par IA, tels que la recréation par Midjourney de la célèbre peinture du XVIe siècle « Les Ambassadeurs » par Hans Holbein le Jeune. Une recréation de « Les Ambassadeurs » de Hans Holbein le Jeune, créée par Midjourney. La véritable peinture est exposée à la National Gallery de Londres, au Royaume-Uni. Dans l’ensemble, AI or Not a détecté correctement toutes les 100 images générées par Midjourney qui lui ont été initialement fournies. L’outil a également maintenu un taux de détection élevé pour les images réelles, bien qu’il ait également produit des faux positifs : en identifiant incorrectement des images réelles comme ayant été générées par IA. AI or Not a identifié avec succès les images réelles suivantes : 20 images prises par le contributeur de Bellingcat Dennis Kovtun, 20 peintures de divers artistes de la Renaissance, 19 peintures abstraites sur 20, 10 images fixes d’animation sur 10, 10 captures d’écran de jeux vidéo de la fin des années 2000 et du début des années 2010.
AI or Not a produit des faux positifs lorsqu’il a donné 20 photos prises par des participants à un concours de photographie. Sur 20 photos, il en a identifié six à tort comme ayant été générées par IA, et il n’a pas pu faire de détermination pour la septième. Toutes les photographies que AI or Not a identifiées à tort comme étant générées par IA étaient des gagnantes ou des mentions honorables du concours « Les photos de l’année au Canada » de 2022 et 2021 organisé par le magazine Canadian Geographic. Il n’était pas immédiatement clair pourquoi certaines de ces images étaient identifiées à tort comme générées par IA. En général, les photos avaient une haute résolution, étaient très nettes, avaient des couleurs vives et contenaient beaucoup de détails. Plusieurs d’entre elles avaient un éclairage inhabituel ou une grande profondeur de champ, et l’une d’entre elles avait été prise en utilisant une longue exposition.
Sur la base du test ci-dessus, nous avons conclu que AI or Not est assez bon pour identifier des images réelles – il a identifié avec succès des peintures et des dessins réels et la plupart des vraies photos, bien qu’il puisse avoir des difficultés avec certaines photos de haute qualité. Bien que AI or Not soit, à première vue, capable d’identifier les images générées par IA, il y a une réserve à considérer quant à sa fiabilité. Chaque image numérique contient des millions de pixels, chacun contenant des indices potentiels sur l’origine de l’image. Mais que se passe-t-il si une partie de ces données précieuses est perdue ou déformée ? Lors du premier tour de tests sur 100 images générées par IA, AI or Not a reçu toutes ces images dans leur format (PNG) et leur taille d’origine, qui variait entre 1,2 et environ 2,2 mégaoctets. Lorsque les chercheurs en sources ouvertes travaillent avec des images, ils manipulent souvent des images beaucoup plus petites et compressées. Lorsqu’une image est redimensionnée ou déformée, ou lorsque sa résolution est réduite, les pixels qu’elle contient sont altérés et le « signal numérique » qui aide un détecteur à identifier l’origine de l’image est perdu, a déclaré Kevin Guo, le fondateur de l’outil de détection d’images Hive, au New-York Times. Hive fournit des modèles d’apprentissage profond pour les entreprises qui souhaitent les utiliser pour la génération et l’analyse de contenu, ce qui comprend un détecteur d’images IA. Il dispose également d’une extension de navigateur gratuite, mais son utilité pour le travail en sources ouvertes est limitée. Il était « incapable de fournir des résultats » sur Telegram, tandis qu’une petite fenêtre contextuelle montrant la probabilité qu’une image soit générée par IA ne s’ouvrait pas sur X, le réseau social autrefois connu sous le nom de Twitter. La fenêtre s’est ouverte sur Facebook. Pour tester la capacité d’AI or Not à identifier les images compressées générées par IA, Bellingcat a pris dix images de Midjourney utilisées dans le test initial, les a réduites à une taille comprise entre 300 et 500 kilo-octets, puis les a à nouveau fournies au détecteur. Cela a produit des résultats mitigés. AI or Not a identifié à tort sept des dix images comme réelles, même si elles ont été correctement identifiées comme générées par IA lorsqu’elles étaient non compressées. Par exemple, lorsqu’elle est compressée, cette image photoréaliste Midjourney d’un silo à grains semble réelle au détecteur. Sur dix images compressées, sept étaient photoréalistes. AI or Not a été particulièrement décevante avec elles – il a identifié à tort les sept comme le travail d’un humain. Il s’en est mieux sorti avec les dessins et les peintures : il en a correctement identifié trois, même lorsqu’elles étaient compressées. Avec de vraies images compressées, AI or Not s’en est mieux sorti. Il a identifié à tort deux des trois peintures comme générées par IA. Cependant, il en a identifié six sur sept comme étant générées par un humain. Il n’a pas pu déterminer si une IA ou un humain avait généré la septième image. Bellingcat a également testé la capacité d’AI or Not à identifier les images déformées mais non compressées. Dans la recherche en sources ouvertes, l’un des types de distorsions d’image les plus courants est un filigrane sur une image. Une image téléchargée depuis un canal Telegram, par exemple, peut comporter un filigrane proéminent. Bellingcat a pris dix images du même ensemble de 100 images générées par IA, a appliqué de grands filigranes et a ensuite fourni les images modifiées à AI or Not. Les images n’ont pas été compressées. Une image d’une pyramide, créée par Midjourney (filigrane ajouté par Bellingcat via Watermarkly). AI or Not a identifié avec succès la plupart de ces images comme étant générées par IA.
