Modèles de langage d’entreprise : choisir la bonne approche pour les besoins de votre entreprise

Les modèles de langage ont révolutionné notre façon d’interagir avec la connaissance et l’information. Des chatbots à la synthèse de texte, leur large éventail d’applications en entreprise nous permettra de transformer notre manière de travailler.  ;

Cependant, avec autant de fournisseurs et de modèles disponibles, il peut être difficile de choisir la bonne approche. Aller trop vite à ce stade peut vous coûter en vitesse d’itération, ou en opportunités commerciales auprès de clients entreprise soucieux de la sécurité. Dans cet article, nous aborderons les deux principales options pour utiliser des modèles de langage en production, ainsi que les avantages et inconvénients de chacune.

Pour tous les besoins

Avant d’entrer dans le détail des options, il est important de noter que tous les modèles de langage ne se valent pas. Certains modèles sont mieux adaptés à certaines tâches que d’autres, et la qualité des prédictions peut varier fortement selon le fournisseur. Même si une grande partie de la recherche en machine learning est disponible en open source, ces fournisseurs ont un fort intérêt économique à conserver jalousement des techniques propriétaires, leur « secret sauce ».

Pour comparer la qualité de différents modèles, des benchmarks comme HELM (Holistic Evaluation of Language Models) de Stanford peuvent être utiles. HELM évalue des grands modèles de langage (LLMs) développés par différents fournisseurs sur un ensemble commun de tâches et de métriques, offrant une méthode standardisée pour comparer les performances. Bien sûr, la meilleure façon de tester des modèles reste de construire votre propre ensemble d’évaluations et de métriques, adapté à vos besoins et exigences.  ;

Une fois que vous avez identifié le bon modèle pour votre cas d’usage, deux options s’offrent à vous pour l’utiliser en production : soit utiliser l’API d’un fournisseur closed-source, soit héberger un modèle open source.  ;

Option 1 – Utiliser l’API d’un fournisseur closed-source

Des fournisseurs closed-source comme OpenAI, Cohere et Anthropic proposent un accès à leurs modèles de langage via des abonnements à leurs API. Le processus est simple : une fois inscrit chez un fournisseur, il vous donnera accès à son API. Vous pourrez alors envoyer du texte à l’API et recevoir une réponse. Les utilisateurs sont généralement facturés en fonction de la longueur des entrées et des sorties.  ;

Avantages :

1. Facilité de mise en place – Cette option ne nécessite aucune infrastructure ni maintenance de votre part. Les API offrent un moyen standardisé d’accéder au modèle, rendant l’intégration simple et l’adoption facile.
2. Sans engagement – L’investissement de votre côté est minimal lorsqu’il s’agit d’API cloud. Comparez en continu différents LLMs et passez facilement à autre chose lorsqu’un autre fournisseur propose une solution plus adaptée à votre cas d’usage.
3. Peu ou pas de maintenance – Vous n’aurez pas besoin de compétences ML Ops en interne pour mettre en place et utiliser votre LLM, ce qui vous fait gagner du temps, réduit les coûts et évite bien des tracas.  ;

Inconvénients :

1. Sécurité & ; confidentialité – Si vous envoyez des données à un tiers, il existe un risque inhérent de fuite de données, ainsi que celui de voir vos informations propriétaires utilisées pour entraîner et améliorer les modèles de ce tiers. Si vous avez des clients entreprise, cette option peut être difficile à leur vendre.
2. Manque de flexibilité – Les modèles closed-source sont souvent difficiles à personnaliser, tout en étant extrêmement coûteux à fine-tuner. Cela peut être un problème ou non selon le degré de spécialisation de votre application. Par exemple, n’importe quel LLM standard devrait être capable de classer un texte comme étant en anglais ou en espagnol. En revanche, si vous cherchez à créer un classificateur de texte spécifique à des données personnalisées (comme classer une commande utilisateur selon un schéma interne pour un assistant vocal), vous pourriez avoir besoin de fine-tuner votre modèle.
3. Tarification – Le coût de votre abonnement est entièrement à la discrétion du fournisseur et dépend de ses SLAs et de son modèle de tarification. À grande échelle, les solutions closed-source peuvent revenir bien plus cher que des modèles hébergés en interne.  ;
4. Différenciation produit – Intégrer une solution closed-source permet à des concurrents de reproduire plus facilement l’approche de votre produit et votre différenciation sur le marché. Si l’usage de l’IA est un atout central de votre produit, cela peut constituer une préoccupation majeure.

Option 2 – Héberger un modèle open source

Des modèles open source comme HuggingFace BLOOM, Meta LLaMA et Google Flan-T5 sont librement disponibles pour tous. Cependant, les solutions ou entreprises qui hébergent le modèle pour vous et fournissent un accès via API (p. ex. HuggingFace et Replicate) en sont encore à leurs débuts  vous devrez donc souvent les héberger vous-même. Les avantages et inconvénients des modèles closed-source sont presque (sans surprise) inversés si vous choisissez des modèles open source.  ;

Avantages :

1. Sécurité & ; confidentialité – Héberger le modèle vous-même vous donne un contrôle total sur les données et leur traitement. Les prospects préoccupés par la confidentialité des données pourraient trouver cette option bien plus attrayante.  ;
2. Flexibilité accrue – Il est nettement plus facile de personnaliser et de fine-tuner le modèle pour votre cas d’usage, ce qui permet des applications plus spécialisées et des réponses rapides à des besoins soudains.
3. Tarification – Si votre usage implique un fort débit et que le passage à l’échelle est un enjeu, cette option peut s’avérer beaucoup plus abordable sur le long terme.  ;
4. Différenciation produit – C’est votre modèle, et le vôtre uniquement. Vous serez libre d’ajuster en continu la « secret sauce » afin qu’elle corresponde précisément à votre cas d’usage, rendant votre produit plus difficile à imiter et plus résilient face à la concurrence.

Inconvénients :

1. Mise en place difficile – Héberger le modèle vous-même requiert davantage d’expertise technique et d’infrastructure, ce qui rend l’installation et l’intégration plus longues et plus complexes.
2. Mise à niveau des modèles

– Toutes les mises à niveau dont vous aurez besoin, vous devrez les développer en interne. Cela risque de devenir une démarche coûteuse et complexe.  ;

Exigences ML en interne – Vous devrez disposer d’experts dédiés ayant le savoir-faire nécessaire pour le fine-tuning des modèles et le MLOps. Les progrès et la vitesse peuvent également être affectés par le turnover et l’onboarding des nouvelles recrues.  ;

Trouvez ce qui vous convient le mieux

Chaque modèle diffère par son nombre de paramètres et ses compromis. Les modèles plus petits sont moins chers et plus faciles à gérer, mais peuvent fournir des prédictions de moins bonne qualité. C’est pourquoi les entreprises commencent souvent avec des modèles à code source fermé pour tester et itérer sur des idées, puis passent à des modèles open source ou développés en interne une fois que ces idées atteignent le product-market fit.  ;

Quoi qu’il en soit, il existe un modèle adapté à chaque cas d’usage et à chaque besoin. Le domaine évolue rapidement, tant sur le plan technologique que sur celui des business models — attendez-vous donc à encore plus d’options à l’avenir !  ;

Chez Glean, nous utilisons une combinaison optimale de ces approches pour garantir à nos utilisateurs une excellente expérience produit, sans avoir à se soucier de l’implémentation. Pour en savoir plus et voir Glean en action, inscrivez-vous à une démo dès aujourd’hui !