Appel à bénévoles pour sécuriser les modèles d’IA

L’organisation à but non lucratif Open Worldwide Application Security (OWASP) recherche des bénévoles en cybersécurité pour l’aider à définir un ensemble de bonnes pratiques visant à sécuriser les applications d’intelligence artificielle (IA), avec un peu de chance avant qu’un incident majeur ne se produise.

Précédemment, l’OWASP avait créé une liste des 10 principaux risques et mesures d’atténuation pour les grands modèles de langage (LLM) :

• Injections de prompts qui utilisent une saisie malveillante pour provoquer des actions non désirées
• Traitement non sécurisé des sorties : les résultats générés sont acceptés sans examen, d’une manière qui expose les systèmes back-end
• Empoisonnement des données d’apprentissage qui injecte, par exemple, des vulnérabilités et des biais dans le modèle
• Attaques par déni de service des modèles qui réduisent les niveaux de service ou augmentent les coûts globaux
• Vulnérabilités de la chaîne logistique dans lesquelles le logiciel utilisé pour construire un modèle a été compromis
• Divulgation d’informations sensibles entraînant l’inclusion de données confidentielles dans les résultats LLM
• Plugins peu sécurisés qui permettent l’exécution de code à distance (RCE)
• Excès de pouvoir de décision qui conduit à l’exploitation de permissions et de privilèges
• Dépendance excessive à l’égard des LLM sans supervision qui peut entraîner de la désinformation, ainsi que des problèmes de communication et de conformité
• Modèles qui sont une forme de propriété intellectuelle et que les cybercriminels sont susceptibles d’essayer de voler

Le projet « Top 10 pour les applications LLM » de l’OWASP cherche maintenant à élargir la portée de cette initiative afin, par exemple, de fournir des conseils sur la meilleure façon de répondre aux deepfakes créés à l’aide de l’IA, en plus de publier des conseils sur la manière de créer un centre d’excellence en matière de sécurité de l’IA. Des bénévoles sont également recherchés pour d’autres initiatives de projet et groupes de travail existants qui se penchent sur la cartographie des risques et des données des attaques, le renseignement sur les cybermenaces de l’IA pour les LLM, l’adoption sécurisée de l’IA, ainsi que l’évaluation de l’IA et la constitution d’équipes rouges.

Le projet « Top 10 pour les applications LLM » de l’OWASP compte déjà 550 contributeurs issus de 110 entreprises et prévoit de mettre à jour sa liste Top 10 pour les risques et les mesures d’atténuation pour les LLM deux fois par an à partir de 2025. La difficulté réside dans le nombre limité de professionnels de la cybersécurité maîtrisant l’IA. Ceux qui acquièrent cette expertise devraient être en mesure d’obtenir une prime pour leur expertise. L’un des meilleurs moyens d’acquérir cette expertise est d’aider à définir ce qui est nécessaire en premier lieu en rejoignant un groupe qui essaie de définir un ensemble de bonnes pratiques à suivre par tous.

Il est encore trop tôt pour parler de compromissions réelles d’un modèle d’IA, mais  de la même manière que les cybercriminels ciblent déjà les chaînes logistiques logicielles, ce n’est qu’une question de temps. Un modèle d’IA n’est au fond qu’un autre type d’artefact ajouté à la chaîne logistique logicielle. De plus, nombre de ces modèles d’IA sont construits à l’aide d’outils présentant des vulnérabilités connues, ce qui entraîne de nombreuses dépendances qui pourraient un jour être exploitées.

Malheureusement, les data scientists ont tendance à avoir encore moins de connaissances en cybersécurité que les développeurs d’applications. De nombreuses organisations tentent, avec un succès mitigé, d’enseigner aux développeurs d’applications les principes fondamentaux de la cybersécurité. Le prochain grand défi sera d’enseigner les mêmes leçons aux data scientists qui ont encore moins de connaissances sur ces fondamentaux.