Les modèles d’IA représentent le prochain défi majeur en matière de cybersécurité

L’agence américaine pour la cybersécurité et la sécurité des infrastructures (CISA) et le National Cyber Security Centre du Royaume-Uni ont publié conjointement une série de directives visant à sécuriser le développement de systèmes d’intelligence artificielle (IA) à un moment où la vulnérabilité de ces applications d’IA est de plus en plus évidente.

Les menaces les plus immédiates sont les attaques par hameçonnage via lesquelles les identifiants de toute personne impliquée dans l’entraînement d’un modèle d’IA peuvent être compromis. Il peut s’agir aussi bien des data scientists qui élaborent le modèle que des sous-traitants recrutés pour renforcer l’entraînement. Ces attaques visent à empoisonner le modèle d’IA en l’exposant à des données inexactes qui augmenteraient sa tendance à halluciner, c’est-à-dire à extrapoler une supposition qui peut être légèrement erronée ou totalement absurde.

L’occasion d’empoisonner un modèle d’IA peut se présenter avant son déploiement ou après, lorsque, par exemple, une organisation commence à utiliser des bases de données vectorielles pour étendre les capacités d’un grand modèle de langage (LLM) au cœur d’une plateforme d’IA générative en l’exposant à des données supplémentaires. L’accès doit être sécurisé, qu’un LLM soit étendu, personnalisé ou construit à partir de zéro.

Les équipes de cybersécurité travaillant avec leurs collègues chargés de la conformité devront également veiller à ce qu’aucune donnée sensible ne puisse être partagée par inadvertance avec une plateforme d’IA générative qui sera ensuite utilisée à une date ultérieure pour entraîner un LLM.

De plus, il est tout aussi important de se rappeler que les modèles d’IA sont, à la base, un autre type d’artefact logiciel qui est sujet aux mêmes problèmes de vulnérabilité que les autres applications. Les malwares que les cybercriminels injectent dans les référentiels de logiciels peuvent rapidement se retrouver dans un modèle d’IA. Le problème est qu’une fois découvert, le coût de la reconstruction d’un modèle d’IA est largement supérieur à celui de la correction d’une application.

Malheureusement, les data scientists qui créent des modèles d’IA ont encore moins d’expertise en cybersécurité que les développeurs d’applications moyens. La question est donc plutôt de savoir quand et dans quelle mesure les composants logiciels utilisés pour construire un modèle d’IA seront concernés par un problème de cybersécurité.

Naturellement, les équipes de cybersécurité interviendront pour traiter les incidents qui, au fil du temps, pourraient impliquer des centaines de modèles d’IA. Plutôt que de s’appuyer uniquement sur des LLM mis à disposition via des services cloud, de nombreuses organisations déploient des LLM entraînés sur un ensemble de données étroites pour automatiser les processus propres à des domaines de connaissances spécifiques.

La bonne nouvelle, c’est que les professionnels de la cybersécurité qui savent comment sécuriser les modèles d’IA sont déjà très demandés. Les salaires que ces professionnels de la cybersécurité peuvent exiger seront donc nettement plus élevés.

Le défi, comme toujours, sera de faire comprendre à toutes les personnes impliquées dans ces projets l’importance de la sécurité. Il y a toujours une tendance à précipiter les innovations sur le marché, mais la précipitation peut être dangereuse. En effet, dans le cas des applications d’IA qui automatisent des processus à une échelle sans précédent, un problème de cybersécurité pourrait avoir des conséquences désastreuses.