Quand les petits modèles linguistiques sont synonymes de grands avantages commerciaux

Une récente enquête a révélé que la plupart des responsables informatiques mondiaux craignent que leur entreprise ne soit « laissée pour compte » si elle n’adopte pas l’intelligence artificielle (IA). Plus de la moitié de ces dirigeants affirment également que la pression exercée par les clients est un facteur déterminant pour l’adoption de l’IA et que cette dernière est essentielle pour améliorer l’efficacité et le service client au sein de l’entreprise. La plupart des entreprises considèrent l’adoption de l’IA comme une nécessité pour conserver un avantage concurrentiel.

Malgré l’enthousiasme suscité, de nombreuses entreprises s’inquiètent quant aux coûts de mise en œuvre, aux abus de la part des employés et aux éventuels problèmes de conformité. Le rapport sur l’état de l’automatisation intelligente publié par ABBY en août 2024 contient le classement de ces préoccupations selon les personnes interrogées.

Le rapport souligne également que les responsables informatiques ont davantage confiance dans les petits modèles linguistiques (SLM) que dans les autres types d’IA. L’une des principales conclusions est que le secteur manufacturier accorde sa confiance aux SLM à 92 %, suivi de près par les services financiers et l’informatique avec 91 %.

Qu’est-ce qu’un petit modèle linguistique ?

Un petit modèle linguistique (SLM) est un réseau neuronal conçu pour générer du contenu en langage naturel, avec cependant moins de paramètres que les grands modèles linguistiques (LLM). Nous reviendrons ultérieurement sur la signification des paramètres, mais voici un aperçu rapide des différences entre les SLM et les LLM :

Objectif/Cas d’utilisation :

• SLM : tâches spécifiques au domaine, edge computing, environnements aux ressources limitées. La formation est axée sur des jeux de données spécifiques au domaine. Les SLM offrent souvent des réponses/inférences plus rapides ainsi qu’une latence réduite. Les déploiements de domaines et endpoints sont mieux adaptés pour gérer les données sensibles, car celles-ci sont locales.
• LLM : tâches linguistiques à usage général, raisonnement complexe. La formation est basée sur des jeux de données vastes et variés, pour des connaissances plus étendues et une plus grande flexibilité. Les grands modèles linguistiques sont également plus efficaces pour les tâches complexes que les SLM qui sont plus simples et axés sur les domaines. Les LLM peuvent également exiger l’envoi de données sensibles vers le cloud à des fins de traitement.

Exigences opérationnelles :

• SLM : puissance de calcul inférieure, moins de mémoire et adaptés au déploiement sur site ou sur appareils périphériques. De manière générale, les SLM sont plus rentables à former et à utiliser en production.

• LLM : puissance de calcul élevée, besoins en mémoire importants et coûts opérationnels et de formation plus élevés.

Revenons-en aux paramètres. Il s’agit de valeurs numériques qui déterminent la manière dont un SLM ou un LLM traite les données entrantes et génère des données sortantes. Il y a des exceptions, mais les SLM comportent généralement moins de 100 millions de paramètres, tandis que les LLM en contiennent généralement des milliards, voire des billions. Pour illustrer simplement la relation entre un paramètre et un modèle linguistique, prenons l’exemple d’une bibliothèque. Une bibliothèque médicale ou juridique peut posséder des centaines ou des milliers d’ouvrages directement liés à son domaine. Une grande bibliothèque avec des ressources sur tous les sujets aura plus de livres (paramètres), mais ils ne seront pas tous en rapport avec vos intérêts. La gestion d’une bibliothèque plus importante nécessite davantage de ressources, mais elle peut également fournir des informations sur un plus grand nombre de sujets.

Les paramètres correspondent aux « connaissances » apprises par le modèle linguistique lors de sa formation. Si votre entreprise a besoin d’une technologie d’IA capable d’exécuter très efficacement un ensemble limité de tâches, le petit modèle linguistique avec moins de paramètres peut répondre à vos besoins.

Sécurité des données et transparence

Étant donné que les SLM sont formés sur des données limitées et peuvent être déployés sur des dispositifs périphériques, ces modèles peuvent être plus attrayants pour les entreprises soucieuses de la sécurité et de la conformité. Les données sont traitées localement, facilitant ainsi l’audit, le contrôle et le suivi des processus décisionnels du modèle. L’environnement réglementaire de l’IA évolue rapidement et de nombreux gouvernements ont déjà mis en place des réglementations en matière de transparence. En voici quelques exemples :

La loi européenne sur l’intelligence artificielle (IA) de 2024 exige que les utilisateurs soient informés lorsqu’ils interagissent avec des systèmes d’IA dans certaines applications. Elle oblige également les entreprises qui utilisent des systèmes d’IA à haut risque à fournir une documentation sur certains aspects de ces systèmes.

L’Utah, le Colorado et la Californie font partie des premiers États américains à élaborer des réglementations relatives à la transparence des systèmes d’IA et à leur utilisation. Ces réglementations peuvent exiger une divulgation de l’utilisation de l’IA, des politiques de gestion des risques et une protection contre les biais inhérents aux systèmes d’IA.  

Les fournisseurs de technologie et les associations ont publié leurs propres directives sur la gouvernance et l’éthique de l’IA, qui peuvent inclure la transparence comme élément fondamental de l’adoption.

Ce désir de transparence suscite un autre type de préoccupation pour les développeurs et les entreprises travaillant avec l’IA. Les modèles linguistiques propriétaires, qu’ils soient petits ou grands, peuvent être considérés comme une propriété intellectuelle (PI) et un avantage concurrentiel. Les entreprises ne veulent généralement pas révéler les détails de ces actifs. Il existe également une inquiétude légitime en matière de sécurité concernant la divulgation excessive d’informations sur un modèle linguistique. Des pirates pourraient utiliser ces informations pour attaquer ou détourner le modèle.

Parmi les autres préoccupations liées à la réglementation de la transparence, citons la complexité des modèles, qui rend difficile l’explication des informations requises à une personne qui n’a aucune expérience en matière de technologie. Cette complexité et l’absence de normes universellement acceptées pour l’IA font craindre à beaucoup que le respect des réglementations relatives à la transparence ne devienne un obstacle à l’innovation et aux déploiements.

Edge computing

L’edge computing se développe à une vitesse folle, en grande partie grâce aux initiatives Industrie 4.0 et à la prolifération des appareils et contrôleurs connectés à Internet dans les secteurs manufacturiers, énergétiques et du transport. Les progrès de la technologie 5G et les avantages du traitement en temps réel sur des appareils distants ont également contribué à cette croissance. La pandémie de COVID-19 a accéléré l’adoption du edge computing pour favoriser le travail à distance, mais ce facteur est beaucoup moins important que la croissance dans l’Internet des objets (IoT) et l’Internet industriel des objets (IIoT).  

Les petits modèles linguistiques sont une solution quasi parfaite pour les dispositifs d’edge computing, et l’IA edge ne cesse de s’améliorer. Néanmoins, certaines limites doivent tout de même être prises en compte. Les SLM de dispositifs edge nécessitent souvent des mises à jour et des réglages plus fréquents, ce qui peut être difficile avec des appareils à connectivité limitée. Les SLM atteignent également leurs limites de performance plus rapidement lorsque les exigences de traitement des données augmentent. En outre, bien que les SLM offrent généralement une plus grande confidentialité, les données transmises depuis la périphérie peuvent être exposées au cloud.

Une croissance continue pour les SLM

Il ne fait aucun doute que les les petits modèles linguistiques vont être davantage adoptés par les entreprises, et ce n’est pas seulement motivé par l’IA edge et l’IIoT. L’automatisation du service client, la traduction, l’analyse des sentiments et d’autres cas d’utilisation spécifiques contribueront à cette croissance. Microsoft, Google et d’autres fournisseurs d’IA pensent que les SLM offrent « un résultat plus précis à moindre coût » et constituent une évolution vers un portefeuille de modèles permettant aux entreprises de choisir celui qui convient le mieux à leurs scénarios.

Pour en savoir plus sur les SLM et leur fonctionnement, ces sites peuvent vous aider :

IBM : Les modèles linguistiques les plus grands sont-ils toujours les plus performants ?

Salesforce : Tiny Titans : comment les petits modèles linguistiques arrivent-ils à surpasser les LLM, et ce, à moindre coût ?

HatchWorksAI : Comment utiliser de petits modèles linguistiques pour des besoins spécifiques en 2024 ?

Microsoft : Petit mais puissant : les modèles linguistiques Phi-3 et leur grand potentiel