Ce que les agents d’IA malveillants nous enseignent sur les risques de cybersécurité

Alors que les systèmes d’IA autonomes testent les défenses des entreprises à la vitesse de la machine, les équipes de sécurité ont besoin de contrôles plus robustes que ce que les seuls garde-fous peuvent offrir.

Ce qu’il faut retenir

• Les agents d'IA malveillants peuvent sonder les systèmes à la vitesse de la machine et exploiter les faiblesses plus rapidement que les pirates humains.
• Les garde-fous seuls ne suffisent pas ; les organisations ont besoin de contrôles renforcés sur les accès, les données, et les infrastructures.
• Les équipes de sécurité devraient se préparer à ce que des adversaires utilisent des agents d’IA dans des attaques automatisées.
• L’IA agentique pourrait également devenir un outil défensif important pour les tests d’intrusion et la réponse aux menaces.

Une vague d’activités d’agents d’intelligence artificielle (IA) malveillants a mis en lumière la nécessité absolue pour les organisations de renforcer les contrôles destinés à sécuriser leurs données et les plateformes informatiques qui les hébergent.

Anthropic, OpenAI et Meta ont tous reconnu avoir lancé des agents d’IA qui se sont livrés à un large éventail de comportements malveillants. Par exemple, OpenAI a récemment révélé que des centaines de ses agents d’IA ont découvert comment collaborer via un tableau de messages avant de s’échapper d’environnements en bac à sable mis en place pour les empêcher d’accéder à Internet. Les agents d’IA ont essentiellement tiré parti d’une combinaison de vulnérabilités et d’exploits pour accéder à Internet. Une fois cela accompli, ils ont étendu un test de type « capture-the-flag » qui avait été attribué aux modèles d'IA hébergés par Hugging Face.

Même après avoir été initialement découverts et après l’effacement du tableau de messages, lorsque l’entraînement a repris, les agents d’OpenAI ont recréé un autre tableau de messages afin d’encoder des messages dans des noms de répertoires que d’autres agents pouvaient lire.

Dans l’ensemble, ces incidents montrent clairement qu’appliquer des garde-fous aux seuls agents d’IA est insuffisant. Les équipes de cybersécurité vont devoir renforcer les contrôles qu’elles ont mis en place pour protéger les systèmes informatiques à une époque où un agent d’IA malveillant peut s’infiltrer dans un environnement à la vitesse de la machine.

Comment les équipes de sécurité doivent-elles se préparer aux agents d’IA malveillants ?

Le problème réside dans le fait que la plupart des contrôles existants ont été conçus pour déjouer les cyberattaques perpétrées par des individus malveillants, également appelés cybercriminels. Non seulement les agents d’IA sont bien plus implacables, mais ils ne se fatiguent pas et ne passent pas à un autre environnement informatique qui pourrait être plus facile à exploiter. Ils sonderont sans relâche les environnements informatiques à la recherche de la moindre faille leur permettant d’accomplir toute tâche qui leur a été confiée.

En théorie, les équipes de cybersécurité devront à terme investir dans leurs propres flux de travail d’IA agentique afin de déjouer ces attaques à la vitesse des machines. Cependant, d’ici au déploiement éventuel de ces capacités, il existe un important déficit de capacités. La plupart des équipes de cybersécurité devraient au moins supposer qu’il existe une forte probabilité que des adversaires utilisent des agents d’IA pour lancer des vagues d’attaques successives. Dans certains cas, une organisation peut même ne pas être la cible principale de l’attaque, mais simplement un moyen pratique d’arriver à ses fins, ce qui peut entraîner d’importants dommages collatéraux lorsque des agents d’IA malveillants explorent toutes les données qu’ils rencontrent.

Espérons que les dirigeants d’entreprise et informatiques ont désormais une bien meilleure conscience de la menace et qu’ils sont, par conséquent, disposés à financer les investissements supplémentaires nécessaires pour renforcer les contrôles. On peut soutenir que l’un des meilleurs moyens de comprendre où ces contrôles sont le plus nécessaires consiste pour les équipes de cybersécurité à déployer leurs propres agents d’IA afin d’effectuer des tests d’intrusion. Bien que ces agents d’IA puissent nécessiter une supervision attentive, les équipes de cybersécurité doivent, qu’elles le veuillent ou non, partir du principe qu’il ne s’agit désormais plus de savoir si, mais quand, des agents d’IA malveillants et non invités commenceront bientôt à mettre leurs contrôles à l’épreuve à une échelle sans précédent.