Confronter le côté obscur de l’IA générative : recommandations pour les dirigeants, RSSI et équipes de sécurité

Alors que le paysage des menaces évolue avec l’émergence d’outils d’IA générative malveillants tels qu’Evil-GPT, WolfGPT, DarkBard et PoisonGPT, les organisations doivent adopter une approche multidimensionnelle pour se défendre contre ce type de menaces. Voici des recommandations stratégiques que les responsables de la sécurité devraient envisager de mettre en œuvre :

1. Renseignement sur les menaces et surveillance

Rester informé des derniers outils et tactiques d’IA malveillants est crucial. Abonnez-vous à des flux ou services de renseignement sur les menaces qui suivent les discussions du dark web autour de l’IA, comme ceux proposés par Kela et Flashpoint. Compte tenu de l’augmentation de 219 % des discussions sur ces outils en 2024, la visibilité sur cette tendance clandestine est essentielle. Les équipes de sécurité devraient surveiller les mots-clés liés à ces outils (par exemple les variantes de « GPT », « prompts de jailbreak ») dans les plateformes de renseignement. Surveillez également le dark web à la recherche de mentions de votre organisation : si des criminels personnalisent l’IA pour cibler votre entreprise ou votre secteur, mieux vaut le savoir rapidement.

2. Renforcer la sécurité des e-mails et des contenus

Comme le phishing est un cas d’utilisation majeur de l’IA malveillante, il est vital de consolider votre pile de sécurité des e-mails. Passez à des filtres avancés utilisant l’IA et l’apprentissage automatique pour détecter les tentatives de phishing, car les systèmes traditionnels basés sur des règles peuvent passer à côté des messages façonnés par l’IA. Certaines solutions revendiquent désormais la détection de texte généré par IA via l’analyse des schémas linguistiques. Bien que ces mesures ne soient pas infaillibles, elles ajoutent une couche de défense importante. Configurez ou scriptez vos passerelles de messagerie sécurisée pour signaler les e-mails au contenu étrangement bien rédigé ou dont le contexte ne correspond pas aux habitudes de l’expéditeur. Entraîner vos filtres antispam existants sur des exemples connus d’e-mails de phishing générés par IA peut aussi en améliorer la détection. Enfin, envisagez de déployer des outils anti-phishing assistés par IA capables d’analyser le contenu et les URL en temps réel, car les campagnes d’hameçonnage par IA utilisent souvent de nouvelles adresses ou des usurpations subtiles que les outils automatisés repèrent plus vite que des employés surchargés.

3. Formation renforcée des employés : mettre l’accent sur le fond plutôt que la forme

Mettez à jour vos formations de sensibilisation à la sécurité pour qu’elles reflètent le nouveau réalisme des escroqueries pilotées par IA. Montrez à vos employés des exemples d’e-mails de phishing à la grammaire parfaite et contextuellement pertinents, afin qu’ils ne se fient pas à des indications obsolètes. Soulignez à quel point il est important de vérifier la légitimité des demandes par des canaux secondaires. Par exemple, si un « cadre » envoie un e-mail urgent pour demander un transfert de fonds, l’employé devrait vérifier cette information par téléphone. Apprenez au personnel à repérer les signes subtils d’automatisation, comme une tournure inhabituelle ou des incohérences qui peuvent échapper à l’IA (par exemple, un format de date étrange ou un détail non pertinent). Intégrez également des scénarios utilisant des deepfakes (voix ou vidéos) dans les formations sur les risques ciblant les cadres, pour préparer les équipes à ces menaces potentielles. Par exemple, mettez en place un exercice où un « PDG » deepfake laisse un message vocal avec des instructions, et vérifiez si les procédures sont bien suivies. L’objectif est d’apprendre à l’organisation à arrêter de faire confiance à certaines communications uniquement parce qu’elles paraissent professionnelles.

4. Sécurité des modèles et des API

Alors que les organisations intègrent l’IA dans leurs opérations, il est essentiel de mettre en place des contrôles pour prévenir les utilisations abusives ou les attaques par empoisonnement de modèles. Si votre entreprise utilise des modèles d’IA (chatbots, assistants, etc.), établissez une surveillance et des contrôles d’accès stricts afin de détecter tout abus, comme des requêtes à la structure suspecte pouvant indiquer une injection de prompt ou une tentative d’exfiltration de données. Vérifiez la source et l’intégrité de tout modèle d’IA ou jeu de données tiers que vous utilisez. Par exemple, utilisez des sommes de contrôle ou des signatures pour les modèles, et privilégiez les dépôts officiels. Envisagez l’adoption d’outils émergents de traçabilité des modèles (comme l’initiative AICert ou d’autres cadres de sécurité de la chaîne d’approvisionnement en IA) afin de vérifier qu’un modèle n’a pas été altéré. En interne, implémentez une limitation du débit et un mécanisme de détection des anomalies sur vos API IA pour identifier toute activité inhabituelle. Si un compte se met soudain à lancer des milliers de requêtes générant des données (ce qui peut indiquer qu’un pirate détourne votre IA), il vaut mieux le repérer. En somme, traitez la sécurité de vos services d’IA avec le même état d’esprit que pour une base de données ou un serveur critique, car ils peuvent être la cible d’attaques visant à en faire une utilisation abusive ou à les empoisonner.

5. Contrôles techniques contre les malwares et les bots

Renforcez les défenses de vos réseaux et terminaux pour contrer les malwares générés par l’IA. Utilisez des solutions de détection et réponse sur les terminaux (EDR) centrées sur le comportement, capables de détecter les processus tentant d’accéder aux données utilisateur de façon suspecte (par exemple si un processus tente d’accéder à des données utilisateur pour les compresser). L’EDR peut détecter ce type de comportement même si la signature du code est nouvelle. Exploitez le renseignement sur les menaces pour mettre rapidement à jour les indicateurs de compromission (IoC) lorsqu’un nouveau malware généré par l’IA est découvert. Côté réseau, utilisez la détection d’anomalies pour identifier des schémas caractéristiques d’attaques générées par l’IA. De nombreuses attaques de ce type conservent encore des motifs « mécaniques » à grande échelle, comme une soudaine rafale d’e-mails de phishing, chacun légèrement différent, ou un schéma inhabituel de connexions sortantes si un malware exfiltre des données. Envisagez également d’utiliser des outils de sécurité basés sur l’IA qui apprennent le comportement de référence de votre réseau et vous alertent en cas d’écarts. Et bien sûr, continuez à appliquer les correctifs et à maintenir une cyberhygiène de base. Les pirates assistés par l’IA continueront à s’attaquer aux systèmes non corrigés et aux identifiants faibles, considérés comme des proies faciles.

6. Préparation à la réponse aux incidents

Mettez à jour vos plans de réponse aux incidents pour qu’ils intègrent les considérations liées à l’IA. Élaborez des playbooks pour répondre aux incidents impliquant des deepfakes ou de la désinformation, en veillant à ce que votre équipe sache qui est responsable de la vérification de l’authenticité d’un faux contenu (par exemple une vidéo truquée de votre PDG) et comment informer rapidement les parties prenantes. Pour les incidents de phishing, soyez préparé à l’éventualité qu’une fois un employé compromis via un e-mail de phishing généré par l’IA, la vague de phishing suivante puisse déjà avoir changé, l’IA étant capable de modifier son contenu rapidement. Assurez-vous que votre équipe de réponse aux incidents dispose des ressources nécessaires pour analyser les contenus suspects, comme un outil de détection de texte généré par l’IA ou des relations avec des experts en IA. Le partage d’informations est essentiel. Si vous êtes victime d’une attaque impliquant un outil d’IA malveillant, envisagez de partager anonymement des renseignements avec votre ISAC ou votre CERT sectoriel afin de renforcer les défenses collectives. Plus vite la communauté apprend l’existence d’une nouvelle tactique (par exemple, « Cette campagne de phishing semble avoir été rédigée par WormGPT avec certains marqueurs stylistiques »), plus vite les défenses collectives peuvent s’adapter.

7. Gestion des politiques et des fournisseurs

En matière de gouvernance, mettez en place des politiques claires sur l’usage de l’IA dans votre organisation. Traitez les risques liés à « l’IA fantôme », lorsque des employés utilisent des outils d’IA non approuvés. L’IA fantôme peut introduire des risques, comme l’ont récemment montré des cas de fuites de données et même d’outils malveillants se faisant passer pour des applications d’IA légitimes. Indiquez clairement quels outils d’IA sont approuvés, et interdisez l’utilisation d’IA non validées, surtout avec des données sensibles. Exigez des fournisseurs et des tiers qu’ils respectent certaines pratiques de sécurité en matière d’IA, avec la garantie qu’ils protègent leurs outils contre les utilisations abusives. Par exemple, si vous utilisez le chatbot d’IA d’un fournisseur pour votre support client, demandez-lui comment il le protège contre les détournements et s’il vérifie l’intégrité de ses modèles. Les menaces liées à la désinformation doivent également être intégrées dans vos plans de continuité d’activité ou de gestion de crise. Cela peut impliquer les équipes chargées des relations publiques, mais la contribution des équipes sécurité est cruciale en termes d’attribution technique et de mesures de retrait (par exemple, coordination avec les plateformes pour supprimer du contenu deepfake, etc.).

8. Adoptez l'IA défensive

Enfin, envisagez d’exploiter l’IA pour vous défendre. Tout comme les pirates, les organisations qui s’en défendent peuvent employer l’IA et l’apprentissage automatique pour optimiser la chasse aux menaces, l’analyse comportementale des utilisateurs et les réponses automatisées. De nombreux centres d’opérations de sécurité (SOC) sont saturés d’alertes : l’IA peut permettre de corréler les signaux indiquant qu’une attaque générée par l’IA est en cours, pour une identification et une réponse plus rapides. Par exemple, plusieurs alertes de phishing à faible niveau de confiance mais partageant des similitudes subtiles peuvent être regroupées par l’IA pour révéler une campagne de grande ampleur. L’IA peut également contribuer à la protection contre les risques numériques, en scannant le Web à la recherche de contenus frauduleux comme des faux sites ou de fausses actualités concernant votre entreprise. Certains systèmes avancés utilisent le traitement automatique du langage naturel (NLP) pour surveiller les réseaux sociaux ou le dark web et détecter tôt des signes de désinformation ciblée ou de nouveaux thèmes de phishing. En exploitant ces outils, les organisations peuvent renverser la dynamique : l’IA devient un atout défensif et non plus simplement une menace.

Conclusion

L’essor des outils d’IA générative malveillants marque un nouveau chapitre de la cybersécurité, donnant aux acteurs de la menace la capacité de lancer des attaques plus fréquentes, plus sophistiquées et plus trompeuses que jamais. Pour les RSSI et les équipes de sécurité, l’impératif est clair : s’adapter rapidement. En comprenant ces outils, en renforçant les défenses et en cultivant une culture de vigilance, augmentée par une IA défensive, les organisations peuvent atténuer les risques. Le paysage des menaces évolue, mais avec des stratégies éclairées et une préparation adéquate, les défenses peuvent évoluer elles aussi. Dans cette course aux armements alimentée par l’IA, vos meilleurs atouts seront la connaissance et l’agilité. Restez informé, restez préparé et abordez chaque e-mail suspect ou chaque sortie étrange de modèle avec le scepticisme que cette nouvelle ère exige.