Avis sur les menaces de cybersécurité : vulnérabilités découvertes dans Microsoft Azure AI

D'importantes vulnérabilités ont été découvertes dans les services Azure AI Sécurité du Contenu de Microsoft. Elles permettent aux pirates de contourner les mesures de protection et de déployer des contenus nuisibles générés par l'IA. Lisez cet avis sur les menaces de cybersécurité pour connaître les implications de ces failles et les mesures de sécurité à mettre en œuvre pour protéger votre organisation.

Nature de la menace

Les pirates emploient des techniques telles que l'injection de caractères et l'évasion par apprentissage automatique antagoniste pour exploiter les services Azure AI Sécurité du Contenu.

• Injection de caractères : technique qui consiste à modifier un texte en insérant ou en remplaçant des caractères par des symboles ou des séquences spécifiques, tels que des diacritiques, des homoglyphes, des substitutions numériques, des injections d'espaces ou des caractères de largeur nulle. Ces modifications subtiles peuvent donc amener le modèle à mal classer le contenu, ce qui permet aux pirates d'influencer l'interprétation du modèle et d'interférer avec l'analyse. L'objectif est de contourner les garde-fous en les amenant à mal classer le contenu.
• Apprentissage automatique antagoniste (AML) : il s'agit de modifier les données d'entrée à l'aide de techniques spécifiques afin d'induire en erreur les prédictions du modèle. Ces techniques comprennent des perturbations, des substitutions de mots, des fautes d'orthographe et d'autres manipulations. En choisissant et en modifiant soigneusement les mots, les pirates peuvent amener le modèle à mal interpréter le sens de l'entrée.

Une fois que le pirate a contourné les garde-fous de la modération du texte de l'IA et du bouclier des invites, il peut injecter du contenu nuisible, manipuler les réponses du modèle ou compromettre des informations sensibles. Cette exposition remet en question notre perception de ce qu'il faut faire pour créer des garde-fous efficaces en matière d'IA.

Pourquoi est-ce important ?

Azure AI Sécurité du Contenu est un service cloud conçu pour aider les développeurs à établir des garde-fous de sécurité pour les applications d'IA en identifiant et en gérant les contenus inappropriés. Il fait appel à des techniques avancées pour filtrer les contenus nuisibles, notamment les discours haineux et les contenus explicites ou répréhensibles. Azure OpenAI s'appuie sur un grand modèle de langage (LLM) équipé des garde-fous du bouclier d'invite et de la modération de texte de l'IA pour valider les entrées et le contenu généré par l'IA. De nombreuses personnes font confiance au service Azure AI Sécurité du Contenu de Microsoft pour un comportement responsable de l'IA.

Cependant, les deux failles de sécurité décelées dans ces garde-fous, qui sont destinés à protéger les modèles d'IA contre les jailbreaks et les attaques par injection d'invite, signifient que les pirates peuvent contourner ces garde-fous et ainsi injecter du contenu nuisible, manipuler les réponses du modèle, ou même compromettre des informations sensibles.

Quel est le risque ou le degré d'exposition ?

Compte tenu de ces vulnérabilités, les développeurs et les utilisateurs doivent faire preuve d'une plus grande prudence à l'égard de tout contenu nuisible, inapproprié ou manipulé apparaissant dans les résultats générés par l'IA.

Quelles sont les recommandations ?

Barracuda recommande les mesures suivantes pour protéger votre environnement contre ces vulnérabilités :

• Inspectez régulièrement les données renvoyées par les modèles d'IA, afin de détecter et d'atténuer les risques associés aux invites utilisateur malicieuses ou imprévisibles.
• Instaurez des mécanismes de vérification à l'échelle de l'entreprise pour vous assurer que tous les modèles d'IA employés sont légitimes et sécurisés.
• Utilisez une passerelle d'IA pour garantir une sécurité cohérente entre les workloads d'IA.

RÉFÉRENCES

Pour plus d'informations sur les recommandations, veuillez consulter les liens suivants :

• https://hackread.com/azure-ai-vulnerabilities-bypass-moderation-safeguards/
• https://www.secureblink.com/cyber-security-news/azure-ai-vulnerability-exposes-guardrail-flaws-how-safe-are-ai-moderation-tools

Cet avis sur les menaces a été initialement publié sur SmarterMSP.com.