OpenAI partage un avertissement sur la cybersécurité des modèles d’IA

L’IA, entre innovations et cybermenaces

Ce qu’il faut retenir

• OpenAI prévient que les futurs modèles d’IA, en particulier ceux basés sur de grands modèles de langage (LLM), seront dotés de fonctionnalités de cybersécurité avancées qui pourraient être exploitées par des cybercriminels.
• L’entreprise surveille l’utilisation des modèles pour détecter toute activité dangereuse et collabore avec des équipes spécialisées pour renforcer les mesures de sécurité.
• Aardvark, un agent d’IA formé à la recherche sur la sécurité, est en version bêta privée pour aider les développeurs et les équipes de sécurité à identifier les vulnérabilités, avec une couverture gratuite pour certains projets open source.
• Les initiatives comme le projet de sécurité GenAI de l’OWASP et la taxonomie du NIST pour la sécurité de l’IA aident les organisations à comprendre et à atténuer les menaces émergentes à mesure que la technologie de l’IA évolue.

OpenAI avertit que la prochaine génération de modèles d’intelligence artificielle (IA) basés sur ses grands modèles de langage (LLM) intégrera des capacités avancées en cybersécurité susceptibles d’être détournées par des cybercriminels.

Plus précisément, les équipes de cybersécurité doivent s’attendre à ce que les cybercriminels utilisent des LLM pour développer des exploits zero-day à distance efficaces contre des systèmes bien défendus ou pour aider lors d’intrusions complexes et furtives, selon un article de blog partagé par OpenAI.

OpenAI s’efforce de minimiser toute utilisation abusive potentielle de ses modèles, notamment en formant le modèle à répondre en toute sécurité aux demandes qui permettraient un cyberabus manifeste, tout en continuant à être utile pour les cas d’utilisation éducatifs et défensifs.

De plus, OpenAI s’engage à continuer de surveiller l’utilisation de ses LLM pour détecter toute activité dangereuse, qu’elle bloquera ou redirigera ensuite vers des modèles moins performants. Dans le même temps, l’entreprise travaille avec des organisations de red teaming pour évaluer et améliorer ses mesures de sécurité.

OpenAI prévoit également d’ajouter un programme d’accès de confiance permettant d’explorer la fourniture d’un accès par niveaux aux capacités améliorées des modèles d’IA pour des cas d’utilisation défensifs, destiné aux utilisateurs et clients qualifiés travaillant sur la cyberdéfense. En outre, elle établira le Frontier Risk Council, un groupe consultatif où des praticiens expérimentés de la sécurité collaboreront étroitement avec ses équipes. OpenAI travaille également avec le Frontier Model Forum, un consortium à but non lucratif dédié à une compréhension partagée des modèles de menaces et des bonnes pratiques.

Enfin, OpenAI a indiqué qu’Aardvark était également disponible en version bêta privée. Aardvark est un agent d’IA formé pour agir en tant que chercheur en sécurité, afin d’aider les développeurs et les équipes de sécurité à identifier et corriger les vulnérabilités. L’organisation prévoit également d’offrir une couverture gratuite à certains référentiels open source non commerciaux afin d’améliorer les chaînes logistiques logicielles.

Trouver l’équilibre entre l’innovation dans l’IA et les risques de cybersécurité émergents

Bien sûr, les modèles d’IA développés par OpenAI ne sont désormais qu’une option parmi tant d’autres, dont beaucoup gagneront en capacités, y compris dans les usages pouvant être exploités par des acteurs malveillants. D’ailleurs, Anthropic a révélé le mois dernier qu’un groupe de menace étatique basé en Chine avait abusé de son modèle d’IA Claude pour lancer une série d’attaques de cyberespionnage qui pourraient servir de modèle pour l’utilisation future de l’IA et des agents associés.

Le groupe non identifié a utilisé le code Claude pour cibler plus de deux douzaines d’organisations dans une campagne qui a automatisé 80 % à 90 % du travail, avec une intervention humaine nécessaire à seulement quatre à six points de décision critiques pour chaque piratage.

Heureusement, d’autres organisations s’efforcent d’améliorer la sécurité de l’IA. Plus récemment, le projet OWASP GenAI Security a publié une liste des 10 principales menaces de sécurité potentielles auxquelles les organisations sont susceptibles d’être confrontées lorsqu’elles conçoivent et déploient des agents d’IA, et l’Institut national américain des normes et de la technologie (NIST) élabore une taxonomie des attaques et des mesures d’atténuation pour sécuriser les agents d’IA.

À ce stade, il ne fait guère de doute que, du point de vue de la cybersécurité, l’IA est une arme à double tranchant. L’idée est que les équipes de cybersécurité puissent, à terme, tirer davantage parti de l’IA que les acteurs malveillants. Toutefois, au vu des premiers éléments, il serait prudent que les équipes de cybersécurité commencent à se préparer dès maintenant à ce qui pourrait être le pire de tous les scénarios possibles.