Raisonnement agentique : l’avenir de l’IA au travail

Lorsque nous avons lancé Glean en 2019, notre objectif était de rendre la recherche de réponses au travail aussi simple que l'utilisation de Google. Dans mon entreprise précédente, Rubrik, nous nous sommes heurtés à un mur de productivité après être passés à 2 000 employés en moins de quatre ans, car personne ne parvenait à trouver les informations ou les experts dont il avait besoin. N'ayant pas réussi à trouver de solution à ce défi de productivité, j'ai décidé de la créer moi-même. 

Depuis, Glean a non seulement développé la recherche d'entreprise alimentée par l'IA la plus avancée au monde, mais est aussi devenu l'assistant IA sur lequel les employés s'appuient pour accomplir leur travail quotidien. Comment en sommes-nous arrivés là ? Avec le lancement de ChatGPT en 2022, les entreprises ont rapidement perçu le potentiel des grands modèles de langage (LLM) pour transformer le travail. Mais ces modèles présentaient un défaut majeur : ils manquaient de contexte propre à l'entreprise et hallucinaient souvent. C'est alors qu'est apparue la génération augmentée par récupération (RAG), qui utilise la recherche pour ancrer les LLM dans des connaissances fiables.

Si les assistants peuvent aider à répondre à des requêtes et des tâches simples, ils ont eu du mal à gérer les workflows complexes. Les dernières avancées des LLM, combinées à une meilleure compréhension de la façon d'optimiser ces modèles pour des tâches spécifiques, ont renforcé les capacités des assistants, les rapprochant d'agents. Les agents sont capables de planifier, d'exécuter, d'évaluer et d'agir pour atteindre des objectifs, en s'adaptant continuellement en fonction des retours. Ces agents élargissent le potentiel de l'IA pour accomplir le travail, en lui permettant de résoudre des tickets de service client, d'aider les ingénieurs à déboguer des problèmes de production et d'adapter le ton des communications d'entreprise.

Aujourd'hui, j'ai le plaisir de vous présenter un aperçu de la nouvelle architecture de raisonnement agentique de Glean, conçue pour aider les utilisateurs à mener à bien des workflows complexes grâce à la technologie de recherche et de RAG de pointe de Glean. Ci-dessous, je partage davantage sur notre parcours, de la recherche d'entreprise à la plateforme Work AI, ainsi que notre vision de l'avenir de l'IA agentique sur le lieu de travail.

Recherche

Glean a vu le jour pour aider les employés à trouver des réponses au sein de leurs organisations, à travers des centaines voire des milliers d'applications SaaS fragmentées. Les tentatives précédentes de résoudre la recherche d'entreprise avaient échoué parce qu'elles n'adoptaient pas une approche à la Google, avec un crawl, une indexation, une normalisation et un classement continus des données conçus pour l'entreprise. Beaucoup s'appuyaient sur la recherche fédérée, qui extrait les informations des API de recherche disponibles. Cette méthode est souvent incomplète et ne tient pas compte des relations entre les personnes, les contenus et les activités.

En tant que l'un des premiers ingénieurs recherche chez Google, j'ai compris l'importance à la fois de la personnalisation et de l'autorité du contenu lors de la conception de la recherche d'entreprise chez Glean. L'une des innovations majeures des débuts de Google fut l'algorithme PageRank, qui déterminait l'importance et la pertinence d'une page web en fonction du nombre d'autres pages qui y renvoyaient. Chez Glean, nous nous sommes inspirés de l'algorithme PageRank pour développer nos propres algorithmes d'autorité adaptés à l'entreprise.

Nous avons conçu une architecture de recherche hybride qui comprend un modèle de langage auto-apprenant, un algorithme de recherche lexicale et un graphe de connaissances. Cette architecture prend en charge diverses méthodes de recherche des utilisateurs, allant de recherches précises par mots-clés, comme le titre exact d'un document, à des recherches plus larges, telles que les bonnes pratiques pour résoudre un ticket d'assistance, en passant par des recherches personnalisées, comme les notes de réunion.

Modèle de langage auto-apprenant

Google a introduit BERT (Bidirectional Encoder Representations from Transformers), qui a considérablement amélioré la compréhension du langage naturel en tenant compte du contexte complet des mots. Cela a déplacé l'attention de la correspondance de mots-clés vers la compréhension du sens derrière les mots, un concept aujourd'hui connu sous le nom de recherche sémantique. 

Glean a développé un modèle de langage auto-apprenant propriétaire en s'appuyant sur les éléments fondamentaux de BERT. Glean crée un modèle personnalisé pour chaque entreprise, qui apprend en continu le dialecte propre à l'entreprise, en fournissant du contexte sur les projets, les termes, les équipes, et bien plus encore. Au cours des six premiers mois d'une entreprise avec Glean, la qualité de la recherche s'améliore généralement de 20 % grâce à cet auto-apprentissage continu.

Algorithme de recherche lexicale

Après avoir mené des centaines d'expériences pendant des mois, nous avons découvert que l'hétérogénéité des données d'entreprise rend difficile le transfert des algorithmes de recherche grand public vers l'entreprise. Les commentaires Slack, par exemple, sont très courts et n'ont pas de titre, ce qui affecterait négativement leur classement avec les algorithmes grand public.

Nous avons fondamentalement repensé la recherche lexicale pour l'entreprise, en tenant compte des nuances et des cas particuliers que d'autres solutions pourraient facilement manquer.

Graphe de connaissances

Avec la recherche sémantique et lexicale seules, Glean aurait encore du mal à trouver des informations faisant autorité comme « avantages sociaux ». En entreprise, les utilisateurs ont des préférences variées, recherchant le contenu le plus faisant autorité (par ex. « avantages sociaux »), personnel (par ex. « OKR ») ou récent (par ex. « panne »). De plus, une multitude de relations influencent les résultats de recherche, notamment les collaborateurs proches, la localisation, l'ancienneté, l'équipe, et bien plus encore. Glean a construit un graphe de connaissances à travers des centaines d'applications pour comprendre en profondeur les relations entre les personnes, les données d'activité et les contenus.  

Autorisations

Comme je l'ai mentionné plus haut, l'une des raisons pour lesquelles d'autres solutions de recherche d'entreprise ont échoué est qu'elles s'appuyaient sur des connecteurs fédérés. Glean a construit un écosystème de connecteurs regroupant plus de 100 applications d'entreprise, qui ingère et indexe les données de contenu, d'activité et d'identité. Cette approche comprend une structure d'autorisations qui s'aligne sur les autorisations de chaque application. Les utilisateurs qui recherchent des informations ne verront que celles auxquelles ils sont autorisés à accéder.

Génération augmentée par récupération (RAG)

Le RAG est, par essence, un problème de recherche. Il consiste à trouver des informations pertinentes et à les transmettre à un grand modèle de langage (LLM) pour générer une réponse. 

Au départ, l'architecture RAG était expliquée de manière simple : utiliser un LLM pour le raisonnement et une base de données vectorielle pour les connaissances. Il est rapidement devenu évident que le RAG nécessite des considérations plus nuancées, telles que la modélisation des données pour les embeddings, la gestion des autorisations pour les LLM, l'ingénierie des prompts, le fine-tuning et la mise en place de garde-fous IA pour garantir la qualité et la sécurité. 

Nous avons compris très tôt que le raisonnement ne pouvait pas être laissé uniquement au LLM ; le système RAG devait guider le processus de raisonnement.Sans système RAG, le LLM a tendance à générer des hallucinations, à divulguer des données et à fournir des réponses hors sujet. 

Glean aide les LLM à générer des réponses de chat pertinentes et précises, tout en garantissant la sécurité des données et la gestion des autorisations. Plutôt que de développer nos propres LLM, nous nous sommes concentrés sur l'optimisation du système de récupération pour accomplir le travail. 

Notre architecture RAG initiale reposait sur trois composants clés : la planification, la récupération et la génération.

Planification

Dans la recherche traditionnelle, les résultats sont optimisés à l'aide d'une multitude de facteurs, notamment les clics, leur positionnement et le temps passé par l'utilisateur sur une page. Un assistant, en revanche, n'a qu'une seule chance de fournir une réponse pertinente à partir de données d'interaction limitées. 

L'une des façons dont nous avons optimisé l'expérience de l'assistant passe par la planification des requêtes. Pendant cette phase, nous apprenons au LLM à utiliser le moteur de recherche Glean pour récupérer les informations nécessaires afin de répondre à la question de l'utilisateur. Cela inclut la reformulation de la requête pour intégrer des connaissances spécifiques à l'entreprise sur les sources de données disponibles et sur la manière de les interroger.

À mesure que les LLM élargissent leurs fenêtres de contexte, Glean peut intégrer davantage de connaissances d'entreprise dans les réponses des LLM. Nous itérons continuellement sur la sélection du contexte, en équilibrant latence et précision, pour offrir la meilleure expérience utilisateur. 

Récupération

Pendant la récupération, les informations pertinentes sont extraites de Glean et envoyées à un LLM. La récupération s'appuie sur le même système de recherche initialement conçu pour la recherche d'entreprise. Tout comme pour la recherche d'entreprise, la récupération applique les autorisations, garantissant que le LLM formule sa réponse en utilisant uniquement les données auxquelles l'utilisateur a accès. En concevant les autorisations en amont des LLM, Glean résout efficacement le problème de la fuite de données. De plus, nous avons conclu des accords contractuels avec les fournisseurs de LLM afin d'assurer une conservation des données « zero-day » et d'empêcher les modèles de s'entraîner sur les données d'entreprise.

Génération

Le LLM génère une réponse à partir du contexte pertinent fourni par Glean. Une fois la réponse générée, nous l'examinons et fournissons des citations. Ces citations permettent aux utilisateurs de vérifier facilement les résultats et d'accéder directement aux documents originaux pour obtenir un contexte supplémentaire.

Évaluation de l'IA

Glean utilise des LLM pour évaluer et surveiller automatiquement les réponses de l'assistant. Cela nous permet à la fois d'améliorer continuellement notre système d'assistant et d'évaluer et de prendre en charge les derniers modèles. Nous évaluons la performance du LLM à la fois sur la récupération (a-t-il récupéré les documents les plus pertinents liés à la question de l'utilisateur ?) et sur la génération (a-t-il extrait les informations de ces documents pour générer une réponse ?). 

On pense souvent que les évaluateurs humains sont plus précis que les évaluateurs IA. Pour tester notre système basé sur les LLM, nous avons demandé à des membres de notre équipe de noter les requêtes et les réponses.  Notre équipe n'était d'accord que dans 79 % des cas, tandis que l'IA l'était dans 74 % des cas, ce qui met en évidence le potentiel de l'évaluation basée sur l'IA pour atteindre une précision proche de celle des humains.

Raisonnement agentique

Lorsque les clients de Glean ont commencé à utiliser notre assistant, ils posaient des questions de recherche basiques comme « Résume mes OKR », et nous avons conçu notre système pour prendre en charge ces requêtes. À mesure que nos clients progressent dans leur adoption de l'IA, ils demandent désormais à Glean de gérer des tâches plus complexes, telles que « Réponds à ce ticket d'assistance ». 

Pour fournir la réponse optimale, Glean doit exécuter plusieurs étapes : comprendre la source du problème du client, rechercher dans la base de connaissances ou les articles de documentation en gardant ce problème à l'esprit, synthétiser les informations pertinentes et rédiger une réponse utile en s'appuyant sur les connaissances propres à l'entreprise. 

Répondre à un ticket d'assistance n'est qu'un exemple parmi les tâches plus complexes pour lesquelles les utilisateurs se tournent vers Glean. À mesure que les utilisateurs attendent davantage de la Work AI, des avancées technologiques sont en cours pour renforcer les capacités de raisonnement des LLM et améliorer notre propre capacité, chez Glean, à entraîner des agents pour des tâches spécifiques. Les premières recherches sur notre nouvelle architecture ont montré une augmentation significative de 24 % de la pertinence des réponses et des actions grâce au raisonnement agentique.

Avec le raisonnement agentique, les agents décomposent les questions en plans à plusieurs étapes. Chaque étape est exécutée par des agents à l'aide d'outils tels que la recherche, le raisonnement, l'analyse de données, la recherche d'employés et la recherche d'experts. Les agents s'auto-évaluent pour optimiser la manière dont ils atteignent l'objectif.

Découvrons ci-dessous un aperçu de la nouvelle architecture de raisonnement agentique de Glean.

Recherche

Nous évaluons la requête et, à l'aide d'heuristiques, déterminons si elle peut être traitée par la recherche ou par le raisonnement agentique. La recherche est utilisée pour des réponses rapides et précises, étayées par les connaissances de l'entreprise. Par exemple, « Quels sont les OKR du département d'ingénierie ? » conviendrait parfaitement à la recherche. Le raisonnement agentique est conçu pour des requêtes plus complexes.

Réflexion

Grâce à l'auto-évaluation, les agents peuvent apprendre de leurs erreurs et de leurs réussites. Cela leur permet de s'adapter à de nouvelles situations et d'améliorer leurs performances au fil du temps. L'agent réfléchit aux premiers résultats de recherche et évalue sa propre confiance dans sa réponse. Il peut également anticiper les outils disponibles sur la voie agentique et déterminer s'ils l'aideraient à répondre à la question. À ce stade, l'agent se trouve à la croisée des chemins : il peut s'arrêter à la recherche ou choisir d'avancer sur la voie agentique. 

Chez Glean, nous avons expérimenté l'auto-réflexion à différents niveaux de l'architecture de raisonnement agentique. Nous avons essayé d'utiliser l'auto-réflexion dans le cadre d'une boucle agentique, laissant le LLM itérer en continu jusqu'à atteindre l'objectif. Avec les capacités de raisonnement des LLM actuels, nous avons constaté qu'ils ne pouvaient pas vérifier de manière fiable si la réponse se trouvait dans les données indexées, provoquant l'emballement de la boucle. Nous avons observé le potentiel des LLM pour améliorer la précision (c'est-à-dire ancrer les réponses dans la connaissance) et nous sommes optimistes quant au fait que de futures améliorations du rappel (c'est-à-dire déterminer si la réponse se trouve dans les données indexées) rendront la boucle agentique réalisable.

Planifier

Lors de l'étape de planification, nous formulons notre stratégie. Nous voulons d'abord comprendre en profondeur la question à laquelle l'utilisateur cherche à répondre. Pour y voir plus clair, nous posons une série de questions initiales au LLM afin de recueillir des informations de contexte. Ces informations aident Glean à réfléchir de manière stratégique à la façon d'atteindre l'objectif global et à décomposer les étapes nécessaires pour y parvenir. À partir de ces informations de contexte, nous réécrivons la requête sous forme de plan en plusieurs étapes.

Le plan, comme tout bon plan de projet, définit la séquence des étapes, maintient le travail sur la bonne voie et garantit l'atteinte de l'objectif. Les plans de Glean sont influencés par la mémoire, c'est-à-dire le contexte des interactions passées des utilisateurs.

Exécuter

Des sous-agents réalisent chaque étape d'exécution. Ils raisonnent sur les outils à utiliser (recherche, analyse de données, e-mail, calendrier, recherche d'employés, recherche d'experts, etc.) et sur la manière de les combiner pour atteindre des objectifs individuels. 

La recherche est à la base de nombreux outils de Glean. Nous avons pu insuffler le raisonnement agentique dans notre architecture à un rythme fulgurant parce que nous avons passé des années à perfectionner la recherche et à construire le graphe de connaissances, le modèle de langage auto-apprenant et l'algorithme de recherche lexicale.

Lorsque nous avons conçu notre architecture de raisonnement agentique, nous avons envisagé plusieurs archétypes d'agents, y compris les agents d'utilisation d'outils :

• Agents d'utilisation d'ordinateur (généralisation élevée) : ces agents sont capables d'effectuer toute tâche qu'un humain peut réaliser sur un ordinateur, en exécutant des actions de base comme les clics et les saisies au clavier.
• Agents d'utilisation d'outils (généralisation moyenne) : ces agents utilisent des actions de niveau intermédiaire qui équilibrent flexibilité et efficacité, en gérant des tâches telles que l'automatisation des workflows et le traitement des données.
• Agents spécialisés (généralisation faible) : ces agents orchestrateurs coordonnent des sous-agents spécialisés, chacun optimisé pour des tâches spécifiques comme le service client, la rédaction de contrats et le débogage en ingénierie.

Chez Glean, nous avons décidé d'utiliser des agents basés sur des outils, car ils offrent un bon compromis entre l'étendue et la complexité des tâches. J'aime comparer les outils à un couteau suisse : ils sont polyvalents, multifonctionnels et peuvent accomplir un large éventail de tâches. 

Nous avons également investi dans des agents multi-spécialisés, en collaborant avec nos clients pour comprendre leurs workflows répétitifs à travers les différents départements de l'entreprise. Les agents spécialisés sont entraînés sur les subtilités de leur tâche et intègrent le bon ensemble d'outils pour faire le travail. 

Répondre

Il existe différentes formes de réponses, allant d'une réponse de chat en langage naturel générée par un LLM à une action comme la création d'un ticket Jira. À l'avenir, nous envisageons une multitude d'actions simultanées et connexes pour accomplir le travail. Dans le cas de la résolution d'un ticket d'assistance, cela inclut la réponse à un ticket d'assistance, la clôture d'une demande d'assistance et la notification des équipes internes.  

Repenser l'IA au travail

Repenser l'IA au travail est un cheminement continu qui s'appuie sur les technologies fondamentales de Glean. Nous avons commencé par la recherche et avons évolué vers le RAG ; aujourd'hui, nous progressons du RAG vers le raisonnement agentique. Nous avons toujours exploité les dernières avancées technologiques de leur époque — qu'il s'agisse de BERT, des LLM ou des agents — et notre culture de l'expérimentation nous a permis de développer un modèle de langage auto-apprenant et un algorithme de recherche lexicale propriétaires, et désormais une architecture de raisonnement agentique. 

Chez Glean, nous croyons que la transformation par l'IA commence avec les employés — les personnes au travail. Notre vision est de proposer l'IA au travail pour tous, en aidant chacun dans l'organisation à trouver des informations, à générer des réponses et à automatiser le travail. Nous sommes fiers de voir nos clients passer de simples requêtes de recherche à l'automatisation de workflows complexes, et nous restons déterminés à repousser les limites de l'innovation continue et de l'application pratique, qui vont de pair pour transformer l'avenir du travail.