in

Préparez-vous à une vague de scams par email ChatGPT.

ideas chatgpt language email scam



COMMENT LES GRANDS MODÈLES DE LANGAGE PEUVENT AUGMENTER LE RISQUE D’ARNAQUES EN LIGNE

EXPÉRIMENTEZ AVEC LES COURRIELS DE PÊCHE À LA LIGNE AVEC CHATGPT. Cette astuce réalisée par les étudiants en informatique du premier cycle partout est intéressante : demandez à ChatGPT de générer des courriels d’hameçonnage et voyez s’ils sont plus persuasifs pour inciter les victimes à répondre ou à cliquer sur le lien que les messages indésirables habituels. C’est une expérience intéressante et les résultats varieront probablement considérablement en fonction des détails de l’expérience.

LE VRAI RISQUE DES GRANDS MODÈLES DE LANGAGE. Bien qu’il soit facile de réaliser cette expérience, elle ne révèle pas le vrai risque que représentent les grands modèles de langage dans la rédaction d’e-mails d’escroquerie. Les arnaques actuelles ne sont pas limitées par le nombre de personnes qui répondent au premier contact par e-mail. Elles sont limitées par le processus intensif de persuasion de ces personnes pour les inciter à envoyer de l’argent aux escrocs. Les grands modèles de langage sont sur le point de changer cela.

DE L’ANNÉE 2012 À AUJOURD’HUI. Les courriels indésirables du type « Je suis le fils du défunt roi du Nigéria et j’ai besoin de votre aide… » étaient devenus un cliché il y a une décennie. Ils étaient tellement nombreux que chacun d’entre nous devaient en avoir reçu un, voire des milliers. Il semblait que tout le monde savait que c’étaient des arnaques. Pourtant, en 2012, le chercheur Cormac Herley offre une réponse : cela permet de ne garder que les plus crédules parmi les victimes potentielles. Les escrocs intelligents ne veulent pas perdre leur temps avec des personnes qui répondent mais se rendent compte que c’est une arnaque lorsqu’elles leur sont demandé de transférer de l’argent. En utilisant un courriel d’escroquerie évident, l’escroc peut se concentrer sur les personnes potentiellement les plus rentables. Engager des communications en aller-retour pour inciter les victimes à envoyer de l’argent prend du temps et des efforts.

SCAMS : DÉSORMAIS PLUS ÉLABORÉS ET PLUS PERFORMANTS AVEC DES GRANDS MODÈLES DE LANGAGE. Les escroqueries financières à long terme, connues sous le nom de « pig butchering », impliquent d’attirer lentement une cible en gagnant leur confiance à propos de leurs finances personnelles sur une période de semaines ou de mois. C’est un jeu risqué avec de faibles chances de succès pour l’escroc. C’est là que les grands modèles de langage feront la différence. Les LLM peuvent rouler des mécaniques sans ciller, peu importe les questions qui leur sont posées. Leur capacité à rouler des mécaniques de manière confiante sera utile aux escrocs lorsqu’ils navigueront sur les cibles résistantes, amusées et crédules par milliards. Les arnaques de chatbot AI peuvent capturer plus de personnes, car la puissance de marché pour une arnaque plus subtile et plus souple (basée sur tout ce qui a jamais été écrit en ligne) est beaucoup plus importante que celle pour une arnaque de type « le roi du Nigéria veut vous donner un milliard de dollars ».

LA TECHNOLOGIE EST DÉSORMAIS ASSEZ PUISSANTE POUR QUE LES ESCROCS PUISSENT L’EXPLOITER. Aujourd’hui, les ordinateurs personnels sont assez puissants pour exécuter des LLM compacts. LLaMA de Facebook, lorsqu’il a été publié, a été convenablement ajusté pour être rapide et peu coûteux sur des ordinateurs portables puissants. De nombreux autres LLM open source sont en cours de développement, avec une communauté de milliers d’ingénieurs et de scientifiques.

UN SEUL ESCROC PEUT DIRIGER DES CENTAINES OU DES MILLIERS D’ESCROQUERIES EN PARALLÈLE. Un seul escroc, de son ordinateur portable, peut désormais exécuter des centaines, voire des milliers, d’escroqueries en parallèle, nuit et jour, avec des victimes aux quatre coins du monde, dans toutes les langues imaginables. Les chatbots AI ne dorment jamais et s’adaptent constamment pour atteindre leurs objectifs. Et de nouveaux mécanismes, tels que les plugins ChatGPT ou LangChain, permettent la composition d’IA avec des milliers de services cloud basés sur des API et d’outils open source, permettant aux LLM d’interagir avec Internet comme les humains.

UNE BAISSE DRAMATIQUE DU RAPPORT SIGNAL-BRUIT. Nous ne savons pas comment vivre dans un monde avec un milliard ou dix milliards d’escrocs qui ne dorment jamais.

DES RISQUES PLUS SOPHISTIQUÉS. La sophistication des attaques va également changer. Les arnaques ciblées contre des particuliers, qu’il s’agisse de phishing, de collecte de données ou d’escroqueries, étaient autrefois réservées aux États-nations. Le modèle économique du capitalisme de surveillance de l’Internet fournit cependant des informations sur nous tous, qui sont à vendre chez les courtiers en données. La combinaison des dossiers numériques que ces courtiers possèdent sur nous et des LLM offre un outil taillé sur mesure pour les arnaques personnalisées.

TOUTEFOIS, LES MAUVAIS USAGES DE L’IA SONT PLUS UNE CONSÉQUENCE DE L’HUMANITÉ QUE D’ELLE-MÊME. Les arnaques sont simplement l’intention et l’action d’une personne qui trompe une autre pour un gain personnel. Et l’utilisation des autres comme des sbires pour réaliser les arnaques n’a rien de nouveau : par exemple, le crime organisé en Asie kidnappe ou « lie » des milliers de personnes pour leurs opérations d’escroquerie. Les entreprises, telles qu’OpenAI, essaient d’empêcher leurs modèles de faire des choses mauvaises. Cependant, chaque nouveau LLM est accompagné d’un buzz sur les tentatives d’évasion du nouveau modèle, ce qui contournent toujours les restrictions mises en place par les concepteurs de l’IA. La plupart des protections contre les mauvais usages et les sorties nuisibles ne sont que superficielles et facilement évitées par des utilisateurs déterminés. Une fois qu’une évasion est constatée, elle peut être généralisée et la communauté d’utilisateurs peut ouvrir les failles de l’armure du LLM. La technologie évolue trop rapidement pour que les constructeurs en comprennent pleinement les fonctionnalités.

LE DÉFI DES DÉFENSES SERA DE RATTRAPER CELUI DES ATTAQUES. Mais avant cela, notre rapport signal-bruit va dramatiquement baisser.


Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

000 32CW6Z7

En proie à des dissensions internes et confrontée à des obstacles, la Nupes cherche activement les moyens de renouer avec l’harmonie.

comment un retraité britannique a résolu un vieux problème mathématique

comment un retraité britannique a résolu un vieux problème mathématique