Modèles de langage d’entreprise : choisir la bonne approche pour les besoins de votre entreprise

Les modèles de langage ont révolutionné notre façon d'interagir avec le savoir et l'information. Des chatbots au résumé de texte, leur vaste éventail d'applications en entreprise va nous permettre de transformer notre manière de travailler. 

Toutefois, avec autant de fournisseurs et de modèles disponibles, choisir la bonne approche peut s'avérer déroutant. Agir avec précipitation ici pourrait vous coûter cher en termes de vitesse d'itération, ou vous faire perdre des contrats potentiels auprès de clients d'entreprise soucieux de la sécurité. Dans ce blog, nous aborderons les deux principales options pour utiliser des modèles de langage en production, ainsi que les avantages et inconvénients respectifs de chaque option.

Une solution pour chacun

Avant de plonger dans les options, il est important de noter que tous les modèles de langage ne se valent pas. Certains modèles sont mieux adaptés à des tâches spécifiques que d'autres, et la qualité des prédictions peut varier considérablement selon le fournisseur. Même si de nombreuses recherches en machine learning sont disponibles en open source, ces fournisseurs ont un fort intérêt commercial à protéger jalousement leurs techniques propriétaires, ou leur « recette secrète ».

Pour comparer la qualité des différents modèles, des référentiels comme le HELM (Holistic Evaluation of Language Models) de Stanford peuvent s'avérer utiles. HELM évalue les grands modèles de langage (LLM) développés par différents fournisseurs sur un ensemble commun de tâches et de métriques, offrant ainsi un moyen standardisé de comparer les performances. Bien entendu, la meilleure façon de tester des modèles reste de construire votre propre ensemble d'évaluations et de métriques adaptées à vos propres besoins et exigences. 

Une fois que vous avez identifié le modèle adapté à votre cas d'usage, vous disposez de deux options pour l'utiliser en production : soit recourir à l'API d'un fournisseur en code fermé, soit héberger un modèle open source. 

Option 1 – Utiliser l'API d'un fournisseur en code fermé

Les fournisseurs en code fermé comme OpenAI, Cohere et Anthropic offrent l'accès à leurs modèles de langage via des abonnements à leurs API. Le processus est simple : une fois inscrit auprès d'un fournisseur, celui-ci vous donne accès à son API. Vous pouvez ensuite envoyer du texte à l'API et recevoir une réponse. Les utilisateurs sont généralement facturés en fonction de la longueur des données en entrée et en sortie. 

Avantages :

1. Facilité de mise en place – Cette option ne nécessite aucune infrastructure ni maintenance de votre part. Les API offrent un moyen standardisé d'accéder au modèle, rendant l'intégration simple et l'adoption aisée.
2. Sans engagement – L'investissement de votre côté est minimal lorsqu'il s'agit d'API basées sur le cloud. Comparez continuellement les différents LLM et passez facilement à une solution plus avantageuse lorsqu'un autre fournisseur propose quelque chose de mieux adapté à votre cas d'usage.
3. Maintenance faible, voire nulle – Vous n'avez besoin d'aucune expertise ML Ops en interne pour mettre en place et exploiter votre LLM, ce qui vous fait gagner du temps, de l'argent et bien des tracas. 

Inconvénients :

1. Sécurité et confidentialité – Si vous envoyez des données à un tiers, il existe un risque inhérent de fuite de données, ainsi que le risque que vos informations propriétaires soient utilisées pour entraîner et améliorer les modèles de ce tiers. Si vous avez des clients d'entreprise, cette option peut être difficile à leur vendre.
2. Manque de flexibilité – Les modèles en code fermé sont souvent à la fois difficiles à personnaliser et terriblement coûteux à affiner. Cela peut poser problème ou non, selon le degré de spécialisation de votre application. Par exemple, n'importe quel LLM standard devrait être capable de classer un texte comme étant en anglais ou en espagnol. En revanche, si vous cherchez à construire un classificateur de texte spécifique à des données personnalisées (comme la classification d'une commande utilisateur dans un schéma interne pour un assistant vocal), vous aurez peut-être besoin que votre modèle soit affiné.
3. Tarification – Le coût de votre abonnement est entièrement à la discrétion du fournisseur, et soumis à ses SLA et à son modèle de tarification. À grande échelle, les solutions en code fermé peuvent finir par être bien plus coûteuses que les modèles hébergés en interne. 
4. Défendabilité du produit – L'adoption d'une solution en code fermé permettra à vos concurrents de copier plus facilement l'approche et la différenciation de votre produit sur le marché. Si l'usage de l'IA constitue une force majeure de votre produit, cela peut représenter une préoccupation considérable.

Option 2 – Héberger un modèle open source

Les modèles open source comme HuggingFace BLOOM, Meta LLaMA et Google Flan-T5 sont librement accessibles à tous. Cependant, les solutions ou entreprises qui hébergent le modèle pour vous et fournissent un accès via API (par ex. HuggingFace et Replicate) sont encore très récentes, si bien que vous devrez souvent les héberger vous-même. Les avantages et inconvénients des modèles en code fermé sont presque (comme on pouvait s'y attendre) inversés si vous choisissez d'opter pour des modèles open source. 

Avantages :

1. Sécurité et confidentialité – Héberger le modèle vous-même vous donne un contrôle total sur les données et la façon dont elles sont traitées. Les clients potentiels soucieux de la confidentialité des données pourraient trouver cette perspective bien plus attrayante. 
2. Flexibilité supplémentaire – Il est considérablement plus facile de personnaliser et d'affiner le modèle pour votre cas d'usage spécifique, ce qui permet des applications plus spécialisées et des réponses rapides à des besoins soudains.
3. Tarification – Si votre utilisation présente un débit élevé et que la montée en charge est une préoccupation, cette option peut s'avérer bien plus abordable sur le long terme. 
4. Défendabilité du produit – C'est votre modèle, et le vôtre seul. Vous serez libre d'affiner en continu la « recette secrète » pour l'adapter spécifiquement à votre cas d'usage particulier, rendant votre produit plus difficile à imiter et plus résistant à la concurrence.

Inconvénients :

1. Mise en place difficile – Héberger le modèle vous-même exige davantage d'expertise technique et d'infrastructure, ce qui rend sa mise en place et son intégration plus chronophages et plus complexes.
2. Mise à niveau des modèles – Toutes les améliorations dont vous avez besoin devront être développées en interne. Cela peut s'avérer être une entreprise coûteuse et complexe. 
3. Besoins en ML internes – Vous devrez disposer d'experts dédiés maîtrisant le fine-tuning des modèles et le MLOps. Les progrès et la rapidité peuvent également être affectés par le turnover et l'intégration des nouvelles recrues. 

Trouvez ce qui vous convient le mieux

Chaque modèle se distingue par son nombre de paramètres et ses compromis. Les modèles plus petits sont moins coûteux et plus faciles à gérer, mais peuvent fournir des prédictions de moindre qualité. C'est pourquoi les entreprises commencent souvent par des modèles propriétaires pour tester et affiner leurs idées, puis passent à des modèles open source ou internes une fois que ces idées ont trouvé leur adéquation produit-marché. 

Quoi qu'il en soit, il existe un modèle adapté aux cas d'usage et aux besoins de chacun. Le domaine évolue rapidement, tant sur le plan technologique que sur celui des modèles économiques : attendez-vous donc à disposer de toujours plus d'options à l'avenir ! 

Chez Glean, nous utilisons une combinaison optimale de ces approches pour garantir à nos utilisateurs une excellente expérience produit, sans avoir à se soucier de la mise en œuvre. Pour en savoir plus et voir Glean en action, inscrivez-vous à une démo dès aujourd'hui !