Threat Spotlight : comment les pirates empoisonnent-ils les outils et défenses de l'IA ?

Barracuda a rapporté comment l’IA générative est utilisée pour créer et diffuser des spams et concevoir des attaques par hameçonnage très efficaces. Ces menaces continuent d'évoluer et de s'intensifier, mais elles ne sont pas les seuls moyens par lesquels les pirates exploitent l'IA.

Les spécialistes de la sécurité observent désormais que des pirates manipulent les outils d’IA des entreprises et altèrent leurs fonctionnalités de sécurité pour voler et compromettre des informations, affaiblissant ainsi les défenses de leurs cibles. 

Attaques par e-mails ciblant les assistants d’IA

Les assistants d'IA et les grands modèles de langage qui soutiennent leurs fonctionnalités sont vulnérables aux abus.

Les analystes de menaces de Barracuda ont découvert des attaques où des invites malveillantes sont dissimulées dans des emails d'apparence inoffensive. Cette charge utile malveillante est conçue pour manipuler le comportement des assistants d'information d'IA de la cible.

Par exemple, une vulnérabilité récemment signalée (et corrigée) dans l'assistant d’IA de Microsoft 365, Copilot, pouvait permettre à n'importe qui d'extraire des informations d'un réseau sans autorisation. Les pirates peuvent exploiter cette faille pour collecter et exfiltrer des informations sensibles d'une cible.

Pour ce faire, ils exploitent la capacité des assistants d’IA internes à rechercher et à rassembler des données contextuelles issues d'e-mails, de messages et de documents internes lorsqu’ils répondent à des demandes ou accomplissent des tâches.

• Tout d'abord, les pirates envoient à un ou plusieurs employés un e-mail apparemment inoffensif contenant une charge utile malveillante dissimulée et intégrée.
• Cet e-mail ne nécessite aucune interaction de la part de l'utilisateur et reste inoffensif dans sa boîte de réception.
• Lorsque l’employé demande de l’aide à l’assistant d’IA pour une tâche ou une requête, l’assistant parcourt les anciens e-mails, fichiers et données pour fournir un contexte à sa réponse. De fait, l’assistant d’IA s’infecte involontairement avec l’invite malveillante.
• L’invite malveillante pourrait alors demander à l’assistant d’IA d’exfiltrer silencieusement des informations sensibles, d’exécuter des commandes malveillantes ou de modifier des données.

Les e-mails militarisés tentent également de manipuler les assistants d’IA en corrompant leur mémoire sous-jacente ou leur logique de récupération de données. Cela comprend les e-mails contenant des exploits ciblant les vulnérabilités dans les déploiements RAG (génération augmentée par récupération). Le RAG est une technique qui permet aux grands modèles de langage de récupérer et d'intégrer de nouvelles informations au-delà de leur modèle de formation.

De telles attaques peuvent amener les assistants d’IA à prendre des décisions incorrectes, à fournir des informations fausses ou à effectuer des actions non intentionnelles basées sur des données corrompues.

Altération de la protection basée sur l'IA

Les pirates apprennent également à manipuler les composants d’IA des technologies défensives.

Les plateformes de sécurité des e-mails sont améliorées avec des fonctionnalités alimentées par l’IA qui les rendent plus faciles à utiliser et plus efficaces, notamment des fonctionnalités telles que les réponses automatiques, le transfert « intelligent », le triage automatique pour supprimer les spams, la création automatisée de tickets pour les problèmes, etc. Cela élargit la surface d'attaque potentielle que les pirates peuvent cibler.

Si un pirate parvient à manipuler ces fonctionnalités de sécurité, il pourrait :

• Manipuler des outils intelligents de sécurité des e-mails pour répondre automatiquement avec des données sensibles.
• Abuser des fonctionnalités de sécurité de l'IA pour remonter les tickets du service d'assistance sans vérification. Cela pourrait entraîner un accès non autorisé aux systèmes ou aux données, car les pirates pourraient exploiter les privilèges élevés pour mener des activités malveillantes.
• Déclencher l'automatisation du flux de travail en fonction d’une invite malveillante. Cela pourrait entraîner l'exécution d'actions nuisibles, telles que le déploiement de logiciels malveillants, la modification de données critiques ou la perturbation des activités commerciales.

Semer le doute sur la réalité

Confusion d'identité et usurpation d’identité

Lorsque les systèmes d'IA fonctionnent avec un niveau élevé d'autonomie, ils peuvent être amenés à usurper l'identité d'utilisateurs ou à faire confiance à des usurpateurs. Cela peut conduire à :

• Des attaques de type « Confused Deputy » : cela implique un agent d’IA avec des privilèges élevés effectuant des tâches non autorisées pour le compte d'un utilisateur moins privilégié, tel qu'un pirate.
• Des accès aux API usurpés : cela implique que des intégrations existantes basés sur l'IA avec Microsoft 365 ou Gmail, par exemple, soient manipulées pour divulguer des données sensibles ou envoyer des e-mails frauduleux.

Hallucinations en cascade : faire confiance au faux

Comme il a été expliqué auparavant, les attaques par e-mail ciblant les assistants d’IA peuvent tenter de manipuler les fonctionnalités de l'assistant. Cela pourrait amener l'assistant à résumer la boîte de réception d'un utilisateur, à générer des rapports et à définir le calendrier, mais sur la base de données fausses ou manipulées.

Dans de tels cas, un seul email empoisonné pourrait mener à :

• Une priorisation trompeuse des tâches. Par exemple, l’envoi d’e-mails « urgents » provenant de faux dirigeants
• Des résumés et recommandations biaisés
• Influencer des décisions commerciales critiques basées sur des hallucinations

Comment les défenses des e-mails doivent s’adapter

Les passerelles de messagerie héritées, les protocoles d’authentification d’email traditionnels tels que SPF ou DKIM  et les listes de blocage IP standard ne suffisent plus à se défendre contre ces menaces. Les entreprises ont besoin d’une plate-forme de sécurité des e-mails résistante à l’IA générative. Cette plateforme doit comprendre :

• Le filtrage tenant compte du grand modèle de langage : il doit être capable de comprendre le contexte des e-mails (sujet, destinataire, type, etc.), le ton et les modèles comportementaux, en plus du contenu des emails.
• La validation de la mémoire contextuelle : cela permet d'assainir ce que les filtres basés sur l'IA apprennent au fil du temps et peut empêcher toute manipulation à long terme.
• L’isolation de la chaîne d'outils : les assistants d’IA doivent fonctionner dans des environnements de type sandbox, avec des mesures en place pour bloquer toute action non vérifiée basée sur une invite reçue par e-mail.
• la gestion des identités par portée : cela implique l’utilisation de jetons à privilèges minimaux et l’application de limites d’identité pour les intégrations d’IA.
• L’exécution de l’IA en mode « zero trust »: ce n’est pas parce qu’un email prétend provenir du PDG que l’IA doit automatiquement agir en conséquence. Les outils doivent être configurés pour tout vérifier avant l'exécution.

L’avenir de la sécurité des e-mails est « sensible aux agents »

Les outils d'IA utilisés au sein des entreprises reposent de plus en plus sur l'IA agentique. Ce sont des systèmes d'IA capables de prendre des décisions de manière indépendante et d'adopter un comportement autonome. Ces systèmes peuvent raisonner, planifier et exécuter des actions, en s'adaptant en temps réel pour atteindre des objectifs spécifiques.

Cette capacité puissante peut être manipulée par des pirates, et les mesures de sécurité doivent passer d'un filtrage passif à une modélisation proactive des menaces pour les agents d’IA.

L’e-mail en est un excellent exemple. L’e-mail devient un espace de travail augmenté par l’IA, mais il reste l’un des principaux vecteurs d’attaque. Les stratégies de sécurité doivent cesser de considérer l’e-mail comme un canal. Ils doivent plutôt l'aborder comme un environnement d'exécution nécessitant des principes de « zero trust » et une validation constante tenant compte de l'IA.

Comment Barracuda Email Protection vous aide à vous défendre contre les attaques utilisant l'IA ?

La plateforme de cybersécurité intégrée de Barracuda est spécialement conçue pour relever le double défi des attaques basées sur l'IA et des attaques ciblant les composants de l'IA.

Notre ensemble d’outils de protection des e-mails combine détection intelligente, automatisation adaptative et conception centrée sur l'humain pour aider nos clients à prendre une longueur d'avance sur les menaces alimentées par l'IA.

Par exemple :

• Détection avancée basée sur l'IA : Barracuda utilise l’IA comportementale et le traitement automatique du langage naturel (NLP) pour détecter l'ingénierie sociale, même en l’absence de logiciels malveillants ou de liens évidents. Il détecte l'usurpation d'identité, la compromission d'une boîte de messagerie professionnelle (BEC) et les anomalies de changement de ton que les filtres traditionnels ne détectent pas.
• Défense en profondeur : Barracuda couvre chaque étape de la « cyber kill chain », à l’empêchement de l’hameçonnage en passant par la détection de piratage de compte et la réponse automatisée aux incidents, comblant les lacunes exploitées par les pirates.
• Renseignements sur les menaces en temps réel : grâce aux données provenant d'un réseau de détection international, Barracuda s'adapte rapidement aux menaces évolutives telles que l'injection d’invites, l'empoisonnement par génération augmentée par récupération et l'abus d'hallucinations par IA.
• Formation et sensibilisation des utilisateurs : la technologie à elle seule ne suffit pas. Barracuda permet à ses employés de reconnaître l'hameçonnage généré par l'IA grâce à des formations de sensibilisation continues, car la confiance est la nouvelle vulnérabilité.

Pour en savoir plus : https://www.barracuda.com/solutions/ai-in-cybersecurity