OWASP Top 10 des risques liés aux grands modèles de langage : rapport 2025

Alors que l’IA générative et les grands modèles de langage (LLM) sont intégrés dans un plus grand nombre de processus internes et d’applications orientées client, les risques associés aux LLM augmentent. La liste 2025 OWASP Top 10 pour les applications LLM décrit en détail ces risques sur la base d’une utilisation réelle, à titre de mise en garde à l’intention des leaders de la technologie, de la cybersécurité, de la confidentialité et de la conformité.

« Dans le domaine de la sécurisation et de la supervision des solutions d’IA générative, les organisations pénètrent en territoire inconnu. Les avancées rapides de l’IA générative ouvre également la voie aux adversaires pour améliorer leurs stratégies d’attaque, un double défi de défense et d’escalade des menaces. » OWASP

Souvent indétectables par les utilisateurs finaux, les attaques ou manipulations de modèles IA sont particulièrement néfastes et peuvent avoir un impact considérable sur les résultats. Lorsque ces risques sont introduits par les utilisateurs, les résultats sont faussés et peuvent être utilisés à des fins de désinformation délibérée ou d’autres activités malveillantes.

Top 10 OWASP 2025 des risques liés aux grands modèles de langage

Le nouveau rapport 2025 récemment annoncé aborde les défis croissants liés à l’IA générative, apporte un éclairage sur les risques existants, fournit d’autres conseils sur la manière de sécuriser la génération augmentée par récupération (RAG), ajoute la fuite de prompts système comme risque majeur et brosse un tableau complet des conséquences d’un excès de pouvoir de décision.

Passons maintenant en revue chacun des dix principaux risques à l’aide d’exemples et de stratégies de prévention et d’atténuation.

1. Injection de prompts

L’injection de prompts se produit lorsque les entrées utilisateur modifient le comportement ou la sortie d’un LLM de manière involontaire. L’intention peut être de contourner des mesures de sécurité, d’obtenir un accès non autorisé ou de manipuler des décisions.

Exemples :

• Injection d’instructions dans un chatbot pour accéder à des données privées
• Utilisation d’instructions masquées dans le contenu du site Web pour influencer les résultats
• Modification de documents dans des référentiels afin de manipuler la génération augmentée par récupération (RAG)
• Utiliser différentes langues dans les instructions pour échapper à la détection

Stratégies de prévention et d’atténuation :

• Intégrez la désinfection des données pour empêcher les données utilisateur d’entrer dans les modèles.
• Implémentez un filtrage du contenu sensible sur les entrées et les sorties.
• Appliquez les contrôles d’accès selon le principe de moindre privilège pour les opérations sur les modèles.
• Limitez l’accès aux sources de données externes.
• Intégrez la confidentialité différentielle pour ajouter du bruit aux données ou aux sorties.

Les techniques avancées comprennent l’utilisation du chiffrement homomorphe et de la tokenisation pour pré-traiter et nettoyer les informations sensibles.

2. Divulgation d’informations sensibles

La divulgation d’informations sensibles se produit lorsqu’un modèle révèle involontairement des données privées ou confidentielles dans ses réponses. Il s’agit souvent d’informations contenues dans les données d’entraînement et divulguées par des requêtes utilisateur spécifiques.

Exemples :

• Fuite de clés API ou d’identifiants utilisateur
• Divulgation inappropriée de stratégies métier exclusives
• Partage de données personnelles des utilisateurs lors de réponses à des questions
• Exposition d’informations ou de prompts système sensibles

Stratégies de prévention et d’atténuation :

• Nettoyez les données d’entraînement pour supprimer les informations sensibles.
• Appliquez le filtrage du contenu pour les catégories de sortie sensibles.
• Supprimez les composants obsolètes ou vulnérables.
• Utilisez des contrôles d’accès robustes pour protéger les données sensibles contre toute exposition.
• Vérifiez les réponses pour identifier et prévenir les fuites.
• Implémentez des techniques d’anonymisation des réponses.

3. Vulnérabilités de la chaîne d’approvisionnement

Les vulnérabilités de la chaîne d’approvisionnement introduisent des risques lorsque des composants ou des dépendances tiers sont utilisés. Cela peut inclure des données, des bibliothèques ou des modèles malveillants ou non vérifiés. Il peut s’agir simplement de données erronées ou conçues à des fins malveillantes.

Exemples :

• Intégration d’une bibliothèque LLM avec des portes dérobées cachées
• Utilisation d’API tierces compromises pour des fonctionnalités supplémentaires
• Utilisation de modèles pré-entraînés empoisonnés par des données manipulées
• Déploiement de mises à jour à partir de sources non fiables

Stratégies de prévention et d’atténuation :

• Déployez des cadres stricts de gouvernance des données.
• Validez toutes les bibliothèques et ensembles de données tiers.
• Limitez les sources de données aux fournisseurs agréés.
• Implémentez une surveillance de l’exécution pour détecter les comportements suspects.
• Effectuez des examens réguliers de la sécurité des dépendances de la chaîne d’approvisionnement.

4. Empoisonnement des données et des modèles

Dans les menaces d’empoisonnement des données et des modèles, les pirates manipulent délibérément les données d’entraînement pour influencer le comportement du LLM ou introduire de nouvelles vulnérabilités.

Exemples :

• Intégration d’instructions nuisibles dans les données afin d’altérer les résultats
• Modification d’ensembles de données de réglage pour introduire un biais
• Création de portes dérobées pour envoyer des réponses spécifiques aux prompts
• Empoisonnement d’ensembles de données pour réduire la précision des modèles

Stratégies de prévention et d’atténuation :

• Contrôlez et sécurisez les sources de données pendant l’entraînement et le réglage.
• Utilisez la détection des anomalies pour identifier des schémas inhabituels dans les données.
• Utilisez la confidentialité différentielle pour minimiser l’impact des points de données uniques.
• Testez régulièrement les modèles contre les tentatives d’empoisonnement.
• Isolez et validez toutes les mises à jour avant le déploiement.

5. Mauvaise gestion des sorties

Lorsque les sorties ne sont pas validées, filtrées ou restreintes, le traitement des sorties risque d’être incorrect. Cela peut générer du contenu nuisible et introduire des risques de sécurité supplémentaires.

Exemples :

• Génération d’un langage biaisé ou préjudiciable dans les réponses
• Production de contenu qui divulgue des informations privées
• Renvoi de code qui exécute des opérations imprévues
• Production de résultats inexacts ou trompeurs

Stratégies de prévention et d’atténuation :

• Adoptez une approche Zero Trust et validez correctement les entrées.
• Appliquez des filtres pour bloquer les contenus nuisibles ou restreints.
• Exigez des réponses factuelles avec des références sourcées pour garantir la fiabilité.
• Testez les résultats dans divers scénarios pour identifier les vulnérabilités.

6. Excès de pouvoir de décision

L’excès de pouvoir de décision fait référence aux situations dans lesquelles les LLM bénéficient d’une trop grande autonomie et effectuent des actions à haut risque comme exécuter des commandes ou accéder à des systèmes sensibles sans garanties adéquates.

Exemples :

• LLM autorisés à exécuter des appels d’API sans surveillance
• Automatisation de décisions à fort enjeu, telles que les transactions financières ou les informations de santé
• Accès illimité au système de fichiers
• Interactions de plug-ins non supervisées dans des applications complexes

Stratégies de prévention et d’atténuation :

• Limitez l’accès des LLM aux opérations essentielles.
• Implémentez une supervision humaine pour les tâches critiques.
• Utilisez des contrôles de privilèges précis pour restreindre les fonctionnalités.
• Enregistrez et surveillez les actions des LLM pour plus de responsabilisation.
• Mettez en place des mécanismes de sécurité pour intervenir si des actions non autorisées sont détectées.

7. Fuite de prompts système

La fuite de prompts système se produit lorsque des requêtes confidentielles ou internes intégrées dans les systèmes LLM sont révélées aux utilisateurs ou aux pirates, exposant ainsi des instructions sensibles ou des configurations système.

Exemples :

• Exposition de prompts système masqués
• Exposition des clés API ou des connexions de base de données dans les prompts système
• Divulgation des critères de filtrage, des autorisations et des rôles utilisateur, ainsi que d’autres règles internes

Stratégies de prévention et d’atténuation :

• Concevez des prompts système qui empêchent la divulgation de données sensibles ou confidentielles.
• Isolez les instructions système des couches d’entrée.
• Utilisez des garde-fous d’entrée/sortie pour détecter et bloquer les fuites.
• Assurez-vous que les contrôles de sécurité sont appliqués indépendamment du LLM.

8. Faiblesses liées aux vecteurs et aux embeddings

Les vecteurs et embeddings constituant des points faibles, les pirates exploitent les représentations vectorielles ou les systèmes d’embedding utilisés dans les applications pour manipuler le comportement des modèles ou l’intégrité des données.

Exemples :

• Accès non autorisé à des embeddings contenant des informations sensibles
• Détérioration d’embeddings pour dégrader la précision des recherches ou les résultats
• Exploitation des failles de proximité dans les calculs de similarité vectorielle
• Injection de contenu malveillant dans les espaces d’embedding partagés

Stratégies de prévention et d’atténuation :

• Validez et nettoyez les entrées avant de générer des embeddings.
• Contrôlez régulièrement les espaces vectoriels pour détecter les anomalies.
• Appliquez des algorithmes tolérants au bruit pour améliorer les défenses contre les attaques antagonistes.
• Implémentez des autorisations et des contrôles des accès stricts pour les systèmes d’embedding.

9. Désinformation

La désinformation se produit lorsque les LLM génèrent des résultats incorrects, trompeurs ou biaisés. Des informations trompeuses qui semblent crédibles sont alors diffusées et peuvent entraîner des violations de sécurité, des atteintes à la réputation et des poursuites judiciaires.

Exemples :

• Génération de faux conseils médicaux dans un chatbot médical
• Production de contenu biaisé en réponse à des questions sensibles
• Déformation des faits ou diffusion de théories du complot
• Génération de code dangereux ou introduction de bibliothèques de code non sécurisées

Stratégies de prévention et d’atténuation :

• Entraînez des modèles à partir d’ensembles de données diversifiés, vérifiés et à jour.
• Exigez des références sourcées et validées pour des résultats factuels.
• Vérifiez régulièrement les résultats pour en vérifier l’exactitude et l’absence de biais.
• Appliquez des filtres post-traitement pour signaler ou corriger les contenus incorrects.
• Assurez une surveillance humaine pour les cas d’utilisation nécessitant une grande précision.

10. Consommation non limitée

La consommation non limitée fait référence à des situations dans lesquelles l’exploitation sans restriction des LLM entraîne une consommation excessive de ressources à l’origine d’incidents par déni de service, d’augmentation des coûts ou de dégradation des performances système.

Exemples :

• Génération de sorties trop longues en réponse aux prompts de l’utilisateur
• Traitement des entrées extrêmement volumineuses qui surchargent les systèmes
• Traitement de boucles infinies dans les chaînes de requêtes qui épuisent les ressources
• Appels d’API sans restriction, entraînant des hausses de facturation

Stratégies de prévention et d’atténuation :

• Imposez des limites strictes à la taille des données d’entrée, à la longueur des données de sortie et au temps de traitement.
• Appliquez une limitation de débit aux appels d’API et à l’allocation de ressources.
• Implémentez des délais avant expiration et une surveillance pour mettre fin aux opérations excessives.
• Validez les entrées pour détecter et rejeter les demandes gourmandes en ressources.

Téléchargez la liste de contrôle Cybersécurité et Gouvernance de l’OWASP

Pour d’autres conseils, vous pouvez télécharger la liste de contrôle Cybersécurité et Gouvernance pour l’IA et les LLM de l’OWASP à l’intention des développeurs et des leaders de l’IA à la recherche de solutions d’IA responsables et fiables.