Le côté obscur de l’IA générative : lever le voile sur le paysage des menaces de l’IA

L’IA générative a fait naître un nouveau paysage de menaces pour la cybercriminalité. Autrefois essentiellement utilisés à des fins légitimes, les grands modèles linguistiques (LLM) sont désormais transformés en armes par les acteurs malveillants. Les forums clandestins et les marchés du dark web regorgent de « dark LLM », des chatbots d’IA personnalisés ou jailbreakés conçus exclusivement pour des activités malveillantes. En effet, les mentions de ces outils d’IA malveillants sur les forums cybercriminels ont grimpé en flèche de plus de 219 % en 2024, signe d’un important changement des tactiques utilisées par les cybercriminels. 

Des outils comme WormGPT (un clone non censuré de ChatGPT) ont connu une adoption rapide, aidant les criminels à automatiser les attaques par hameçonnage et de Business Email Compromise (BEC). Fin 2024, le bot Telegram de WormGPT aurait atteint près de 3 000 utilisateurs (dont des centaines d’abonnés payants), mettant en lumière la demande croissante de logiciels criminels optimisés par l’IA. Ces outils d’IA générative malveillants peuvent rédiger des leurres d’hameçonnage convaincants, générer du code malware indétectable, créer de fausses personnes et même produire de la désinformation à grande échelle. 

Dans cette série d’articles, je vais me pencher sur le côté obscur de l’IA générative, en passant en revue quatre exemples marquants d’outils d’IA malveillants : Evil-GPT, WolfGPT, DarkBard et PoisonGPT. Chaque article détaillera le fonctionnement de ces outils et la manière dont ils sont exploités dans les opérations de cybercriminalité réelles. Je fournirai un aperçu de leurs capacités (de la génération d’hameçonnage et de l’automatisation des malwares à la création de propagande), de leurs canaux promotionnels (des forums du dark web aux groupes Telegram) et des preuves documentées de leur utilisation au cours de l’année écoulée. Enfin, je traiterai des implications stratégiques pour la défense des entreprises et proposerai des recommandations aux RSSI et aux équipes de sécurité pour contrer cette menace émergente.

Nature à double usage de l'IA générative

L’IA générative est une arme à double tranchant : la technologie qui rédige vos emails et écrit du code logiciel est la même qui est exploitée à des fins malveillantes. Les LLM modernes, comme le GPT-3.5/4 d’OpenAI ou Google Bard, sont de puissants assistants dotés de barrières éthiques intégrées. Cependant, les criminels ont trouvé des moyens de contourner ces mesures de protection, soit en « jailbreakant » des modèles publics, soit en utilisant des modèles open source pour créer leur propre IA dépourvue de limites. Il en résulte une vague de systèmes GPT malveillants spécialement conçus pour la cybercriminalité. Ces IA malveillantes peuvent générer du code malware, des scripts d’exploitation, du contenu d’hameçonnage et bien plus encore à la demande, sans aucun des filtres de contenu ou des limitations habituels.

Plusieurs facteurs rendent cela possible. Tout d’abord, l’essor des LLM open source fournit des modèles disponibles gratuitement, tels que GPT-J et LLaMA, qui, aux mains de personnes avec une expertise suffisante, peuvent être dotés de données malveillantes. De plus, les acteurs malveillants partagent leurs techniques de jailbreak pour manipuler des chatbots d’IA légitimes afin d’obtenir des résultats nuisibles. 

Un marché souterrain florissant est également apparu, vendant en toute illégalité de l’IA en tant que service. Des cybercriminels entreprenants proposent des bots « d’IA maléfique » par abonnement qui promettent une « absence totale de limites », en d’autres termes, une IA qui produira volontiers des emails d’hameçonnage, des malware, des informations fallacieuses ou tout autre résultat illégal souhaité par un acheteur. Cette banalisation de l’IA générative facilite l’accès à la cybercriminalité : même les pirates aux compétences limitées peuvent tirer parti de l’IA pour accroître considérablement l’ampleur et la sophistication de leurs campagnes. En substance, l’IA générative présente le problème du double usage, et la communauté de la sécurité est désormais aux prises avec les conséquences de son utilisation malveillante.

Et ensuite ?

Dans les prochains articles de cette série, j’explorerai en détail chacun des quatre outils d’IA malveillants :

1. Evil-GPT : j’examinerai les fonctionnalités, les stratégies promotionnelles et les applications réelles de cybercriminalité de cet outil surnommé « l’ennemi de ChatGPT ».
2. WolfGPT : cette IA dark « améliorée » est axée sur la création de malwares. J’analyserai ses fonctionnalités et les risques potentiels qu’elle représente pour la cybersécurité.
3. DarkBard : j’étudierai les fonctionnalités uniques de cet outil surnommé le « jumeau maléfique » de Google Bard, et la manière dont il peut être utilisé pour désinformer en temps réel.
4. PoisonGPT : cet outil est l’application la plus malicieuse de l’IA générative concernant la désinformation. Je discuterai de ses implications et des risques associés aux attaques de la chaîne d’approvisionnement par IA.

Enfin, je traiterai des implications stratégiques pour la défense des entreprises et proposerai des recommandations concrètes aux RSSI et aux équipes de sécurité pour contrer ces menaces émergentes.

Ne manquez pas la suite ! Je naviguerai dans les complexités du paysage des menaces de l’IA, je relèverai les défis et cernerai les stratégies à mettre en place pour lutter contre l’IA générative malveillante.