Les grands modèles de langage (LLM) comme GPT-4 et PALM sont de puissants moteurs de raisonnement qui constituent le fondement de la plupart des expériences d'IA générative basées sur le texte que l'on observe aujourd'hui. Posez une question au LLM, et il fournit généralement une réponse intelligente. Ces modèles sont capables de puiser dans les profondeurs des connaissances issues des données sur lesquelles ils ont été entraînés — ce que nous appelons les « connaissances du monde ».
Mais qu'en est-il des données propriétaires — par exemple, des informations réservées aux employés de votre entreprise ? Si vous posez à un LLM générique une question sur l'état de votre dernière affaire client, il vous répondra probablement qu'il ne dispose pas d'un contexte suffisant pour répondre. Pire encore, il pourrait halluciner et fabriquer une réponse incorrecte, entraînant la propagation de fausses informations et des conséquences potentiellement graves pour les flux de travail.
Appliquer des technologies d'IA générative comme ChatGPT aux données d'entreprise est un défi, compte tenu de la complexité liée à la gestion des autorisations de sécurité, à la montée en charge de l'infrastructure et à la mise en place d'un graphe de connaissances vaste et de haute qualité. Dans cet article de blog, nous allons passer en revue certaines approches pour faire fonctionner ChatGPT sur les données d'entreprise, leurs écueils, et la façon dont Glean les résout grâce à Glean Chat.
Les défis du fine-tuning des LLM sur les données d'entreprise
Dans la génération précédente de modèles de traitement du langage naturel (par ex. BERT, RoBERTa, et d'autres), un paradigme populaire était le « fine-tuning » — où l'on partait des poids d'un modèle fondamental, puis où on les entraînait pour mieux répondre aux besoins de tâches et de domaines spécifiques.
Cependant, comment le paradigme du fine-tuning s'est-il comporté à l'ère actuelle des LLM ? Commençons par la façon dont un LLM moderne comme ChatGPT est entraîné :
- Premièrement, un « modèle fondamental » est entraîné sur d'énormes quantités de données (des milliers de milliards de tokens), ce qui nécessite une puissance de calcul immense (coûtant des millions de dollars). C'est le prix à payer pour développer les impressionnantes capacités de raisonnement et de génération que vous avez vues chez ChatGPT.
- Ensuite, le modèle entre dans une phase de fine-tuning où il est entraîné à suivre des instructions en langage naturel, et aligné sur les valeurs humaines. Cette étape est essentielle pour garantir que le modèle se comporte de manière éthique en évitant les préjudices potentiels comme la toxicité, les biais et les atteintes à la vie privée.
Une façon apparemment naturelle d'intégrer des connaissances propriétaires dans un LLM se situe au stade du fine-tuning. Cependant, la phase de fine-tuning vise à améliorer les performances sur des tâches spécifiques, et non à enseigner au modèle de nouvelles connaissances. Lorsqu'un LLM est affiné sur des connaissances qui lui sont inconnues, cela augmente en réalité les hallucinations. En effet, nous enseignons essentiellement au modèle à générer des réponses sur des sujets dont il n'a pas une compréhension solide et factuelle. C'est pourquoi nous partageons l'avis d'OpenAI selon lequel « le fine-tuning est mieux adapté à l'enseignement de tâches ou de styles spécialisés, et est moins fiable pour la restitution factuelle ».
Autrement, on pourrait essayer d'inclure les données privées de l'entreprise au stade du pré-entraînement fondamental via l'adaptation de domaine (à l'instar de BloombergGPT, ou de MedPALM). Bien que cette approche soit efficace pour adapter les LLM à de vastes domaines, elle présente plusieurs limites fondamentales lorsqu'il s'agit de construire un copilote d'IA d'entreprise :
- Fraîcheur — On pourrait affiner les modèles sur un instantané des données de l'entreprise, mais que se passe-t-il lorsque celles-ci changent d'heure en heure ? Les utilisateurs souhaitent disposer des données les plus récentes et les plus pertinentes, mais entraîner continuellement le modèle pour les fournir est coûteux et difficile à maintenir.
- Autorisations — Tous les employés n'ont pas accès à l'ensemble des données de leur entreprise. Des conversations sensibles peuvent avoir lieu entre le PDG et le directeur financier, les évaluations de performance peuvent être réservées aux managers, et les ingénieurs peuvent ne pas avoir accès à Salesforce. Injecter « toutes » les données dans un LLM aboutit à des réponses générées qui divulguent des détails sensibles.
- Explicabilité — Lorsque vos employés s'appuient sur un assistant pour les aider dans leur travail, vous voulez que les réponses soient non seulement correctes, mais aussi vérifiables. Si un agent d'assistance recommande une correction pour un ticket à l'aide d'un assistant, il doit pouvoir vérifier quel document était à l'origine de la correction recommandée. Un document source existe-t-il seulement ? Le modèle en a-t-il halluciné un ? Le document est-il canonique, ou a-t-il été mis à jour pour la dernière fois il y a 10 ans ? Y a-t-il un contexte supplémentaire dans le document qu'ils devraient connaître ? Tout cela est impossible à traiter si vous faites aveuglément confiance aux générations du LLM.
- Oubli catastrophique — La quantité de données propriétaires de votre entreprise est de plusieurs ordres de grandeur inférieure à l'immense volume de données utilisé pour entraîner un LLM de base. Par conséquent, affiner le modèle risque soit de lui faire oublier une grande partie des connaissances générales du monde qu'il avait initialement acquises, soit de l'empêcher d'apprendre les nuances de vos données propriétaires.
En conclusion, bien que le fine-tuning/entraînement des LLM soit séduisant pour améliorer les performances sur des tâches spécifiques, cette approche comporte trop de limites et de risques pour les assistants IA pour le lieu de travail.
Retrieval Augmented Generation : la recherche vectorielle ne suffit pas
Pour dissocier la capacité des LLM à générer des réponses cohérentes et bien raisonnées de leur (in)capacité à retrouver de manière fiable des connaissances factuelles, le système peut être conçu comme un pipeline. Nous récupérons d'abord les connaissances via un système de recherche distinct, puis nous les transmettons au LLM pour qu'il les lise afin d'ancrer son raisonnement et sa synthèse. C'est ce que l'on appelle couramment le Retrieval Augmented Generation (RAG).
- Les connaissances sont toujours aussi récentes et pertinentes que possible, puisque l'index de recherche régulièrement mis à jour est inséré dans le LLM au moment de la requête.
- Le LLM n'accédera jamais à quelque chose auquel un utilisateur n'a pas accès.
- Les utilisateurs peuvent consulter le sous-ensemble de documents qui ont été fournis au LLM afin de vérifier que la réponse générée repose sur des informations véridiques.
- L'oubli catastrophique ne se produit pas, car le système récupère les connaissances pertinentes au moment de la requête plutôt que de tenter de conserver l'ensemble des connaissances dans le modèle.
Au cœur du RAG se trouve le composant de récupération, qui garantit à la fois la sécurité des données de votre entreprise et la pertinence des réponses générées dont vos collaborateurs ont besoin pour réussir. Nous allons voir pourquoi il s'agit essentiellement d'un problème de recherche, ainsi que certaines des exigences techniques liées à sa mise en œuvre dans un contexte d'entreprise.
Données : indexation évolutive et respectueuse des permissions
Lors de la création de la couche de données d'une solution de recherche d'entreprise, plusieurs approches méritent d'être envisagées.
La recherche fédérée via les API individuelles des applications est l'une de ces approches, mais elle comporte des inconvénients majeurs. L'API de recherche de chaque application possède ses propres nuances, exigences et limites de débit, ce qui la rend largement non évolutive. La recherche fédérée entraîne également des algorithmes de classement sous-optimaux (puisqu'ils ne comprennent que les données propres à une seule application, et que les fonctionnalités de recherche dans les solutions SaaS sont généralement sous-investies), offrant au final une piètre expérience de recherche.
Une meilleure solution consiste à construire un index centralisé en explorant et en indexant les données de toutes les sources. Cependant, construire un crawler et une plateforme de recherche évolutifs et respectueux des permissions constitue un défi d'ingénierie qui peut nécessiter des années de travail, qu'il s'agisse de passer à l'échelle de corpus de plusieurs milliards de documents, ou de créer un modèle de document unifié capable de gérer une grande variété de sources de données.
Glean fournit plus de 100 connecteurs préconçus qui s'intègrent à des applications telles que Google Drive, Slack, Jira, Salesforce, et bien d'autres, aidant les utilisateurs à commencer rapidement à indexer leurs données et à économiser des années de développement. Pour les clients grands comptes comptant des centaines de milliers de collaborateurs, des milliards de documents et des centaines de téraoctets de données, l'infrastructure de Glean (développée sur une période de près de cinq ans) gère merveilleusement bien les données à cette échelle.
En indexant les données de toutes les sources dans une plateforme unique, Glean est en mesure de construire un graphe de connaissances inter-applications qui comprend en profondeur l'ensemble du contenu, du contexte et des collaborateurs de l'organisation. En appliquant ensuite des algorithmes de classement avancés pour faire remonter les résultats les plus pertinents, Glean offre une expérience de recherche nettement supérieure à celle des systèmes qui utilisent les API individuelles des applications.
Pour toute entreprise souhaitant exploiter la valeur de ses données, une plateforme d'indexation évolutive dotée de connecteurs préconçus est la voie à privilégier plutôt que la recherche fédérée. Glean offre un accès clé en main à la recherche d'entreprise grâce à une solution d'indexation conçue pour l'environnement de travail moderne alimenté par le SaaS.
Pertinence thématique : recherche hybride avec reclassement
Avec un corpus indexé évolutif, le prochain défi consiste à récupérer les connaissances les plus pertinentes pour une requête donnée. Parmi les milliards de documents du corpus de votre entreprise, comment trouver ceux qui contiennent les informations les plus utiles, exactes et à jour ?
Pour récupérer ces documents « pertinents » à fournir au LLM, la recherche vectorielle s'est imposée comme un candidat de premier plan. Le système « intègre » chaque fragment de texte dans un vecteur de nombres, et le stocke dans une base de données vectorielle. Lorsqu'une requête arrive, elle est intégrée de la même manière dans la base de données. Le fichier le plus proche de la requête dans l'espace vectoriel est alors retenu comme l'information la plus pertinente.
Des fournisseurs de bases de données tels que Pinecone ou Weaviate suscitent beaucoup d'attention ces derniers temps. Ce dont on ne parle toutefois pas assez, c'est que la qualité des embeddings vectoriels constitue généralement un goulot d'étranglement plus important que le fait de disposer d'une base de données pour héberger ces embeddings.
Nous avons déjà montré qu'en affinant les encodeurs d'embeddings sur des données spécifiques à l'entreprise, on peut obtenir une qualité de correspondance bien supérieure à celle de la plupart des modèles d'embeddings « génériques », qu'ils soient open source (MPNet, E5, Instructor) ou propriétaires (OpenAI, Cohere). Cela nécessite bien sûr une expertise dans l'entraînement de ces modèles, ainsi que l'infrastructure permettant de le faire en continu. Glean a construit et perfectionné cela de manière constante au cours des dernières années.
Mais même si les embeddings sont puissants, les méthodes traditionnelles basées sur les mots-clés sont loin d'être obsolètes. En réalité, ce qui fonctionne bien en pratique, ce sont les méthodes « hybrides », qui tirent le meilleur des techniques classiques de recherche d'information et des encodeurs sémantiques modernes basés sur des réseaux de neurones (Thakur et al. (2021)). Ajuster un système de récupération et de reclassement hybride est une tâche extrêmement complexe : elle nécessite d'entraîner des modèles à combiner des dizaines de signaux de classement différents (dont la similarité sémantique, la correspondance de mots-clés, la fraîcheur des documents, les caractéristiques de personnalisation, et plus encore) afin de produire un score de pertinence final. Nos modèles de recherche apprennent et s'améliorent en continu à partir de chaque requête pour fournir les résultats les plus pertinents à chaque collaborateur.
{{richtext-banner-component}}
Personnalisation : un graphe de connaissances étendu
Même avec un système de recherche textuelle parfait, les documents textuellement liés à la requête de recherche ne contiennent pas toujours les bonnes informations pour répondre à la question d'un utilisateur. Par exemple, un ingénieur peut demander où sont conservées les dernières spécifications de conception. Pourtant, les résultats de recherche peuvent contenir des centaines de documents, pull requests ou messages sur le sujet. Ce scénario explique également pourquoi nous estimons que l'utilisation d'une fenêtre de contexte beaucoup plus large (jusqu'à 1 million de tokens) n'éliminerait pas le besoin de pertinence de la recherche, car fournir des informations erronées et obsolètes amènerait le modèle de langage à donner une réponse incorrecte.
Les méthodes de vecteurs denses sont spécifiquement conçues pour traiter du texte, alors qu'en réalité, d'autres supports de données entrent en jeu. Pour personnaliser la recherche à chaque utilisateur, Glean construit en permanence un graphe de connaissances de toutes les informations créées au sein de votre entreprise. Les nœuds de ce graphe de connaissances comprennent :
- Contenus – Documents individuels, messages, tickets, entités, etc.
- Personnes – Identités et rôles, équipes, départements, groupes, etc.
- Activité – Signaux critiques et comportement des utilisateurs, schémas de partage et d'utilisation
Les arêtes du graphe représentent la manière dont toutes ces entités interagissent entre elles :
- Liaison entre documents – Les documents liés à partir d'autres documents, ou mentionnés par d'autres utilisateurs, sont plus susceptibles d'être pertinents (PageRank – l'article qui a donné naissance à Google)
- Interactions utilisateur-utilisateur – Les documents provenant d'auteurs appartenant à la même équipe, avec qui j'ai interagi par le passé, avec qui j'ai une réunion à venir, … sont plus susceptibles d'être pertinents pour moi.
- Interactions utilisateur-document – Les documents que j'ai (ou qu'un membre de mon équipe a) créés/modifiés/partagés/commentés/… sont tous plus susceptibles d'être pertinents pour moi
Intégrer les LLM : améliorer la recherche elle-même
Les LLM ne sont pas seulement utiles pour résumer et synthétiser les résultats de recherche – ils peuvent également enrichir l'expérience de recherche globale. Par exemple, les LLM permettent au copilote IA d'entreprise de réaliser une planification avancée des requêtes, permettant aux systèmes d'interpréter des commandes en langage naturel et de les traduire en un ensemble de requêtes de recherche produisant les résultats escomptés. Une commande telle que :
« Parcours nos modifications de code Glean Chat du mois dernier. Donne-moi une liste des améliorations que nous apportons à la fonctionnalité. Tu peux aussi consulter notre canal #project-glean-chat pour plus de discussions. »
…pourrait être traduite en deux requêtes de recherche, dont les résultats seraient ensuite synthétisés :
- Les pull requests Github du mois dernier mentionnant « Glean Chat »
- Les messages du canal Slack #project-glean-chat évoquant l'avancement du projet
Les LLM peuvent également aider à amorcer des encodeurs spécifiques à un domaine pour les nouveaux clients en augmentant des données réelles clairsemées à l'aide d'exemples générés par machine (Promptagator, InPars). Étant donné que les données de chaque client sont utilisées exclusivement pour entraîner leurs propres encodeurs, les données synthétiques permettent de compenser l'absence de vastes jeux de données propres au domaine tout en conservant le langage et la terminologie uniques du client. Il en résulte des encodeurs adaptés à l'entreprise, personnalisés pour les données de chaque client et offrant une meilleure généralisation sur celles-ci.
Exploitez toute la valeur de l'IA générative dès aujourd'hui – pas demain
Construire un système ChatGPT prêt pour l'entreprise n'est pas une mince affaire. L'application des LLM aux données d'une entreprise s'accompagne d'exigences majeures en matière de fraîcheur, de permissions, d'explicabilité et d'oubli catastrophique. Bien que la recherche vectorielle et les embeddings aient récemment suscité un grand intérêt, développer des embeddings de haute qualité ainsi que l'infrastructure capable de les prendre en charge à grande échelle constitue en soi un défi d'ingénierie. Pour la plupart des entreprises, développer une solution interne permettant d'exploiter la puissance des LLM sur leurs données de travail nécessitera des années de travail et une expertise couvrant le machine learning, la recherche et l'infrastructure de données évolutive.
Plutôt que de tout construire de A à Z, Glean propose une solution clé en main pour la recherche d'entreprise et la gestion des connaissances, propulsée par les dernières technologies d'IA générative. La plateforme sous-jacente de Glean vous permet également de créer facilement des solutions ponctuelles sur mesure via nos API pour de nombreux workflows d'entreprise. Le résultat final est une implémentation d'entreprise qui récolte les avantages de l'IA générative pour une fraction du coût et de la complexité d'une solution interne.
Avec Glean, les entreprises peuvent rester concentrées sur des objectifs de plus haut niveau comme le développement de nouvelles affaires et l'innovation, tout en accélérant leur réussite grâce aux dernières innovations en matière d'IA générative, sans avoir à attendre. Pour découvrir comment Glean aide les entreprises leaders à exploiter la valeur de leurs données, demandez une démo dès aujourd'hui. Vous serez sur la bonne voie pour transformer la façon dont votre organisation tire parti de ses connaissances grâce à une recherche d'entreprise de premier plan et à une assistance par chat propulsée par l'IA – sans aucune des contraintes liées à sa construction en interne.
