Comment Waldo réduit la latence et l’utilisation de tokens sans compromettre la qualité

Waldo, le modèle de recherche agentique de Glean, réduit la latence et l’utilisation de tokens en séparant le travail de récupération du travail de raisonnement, en laissant un modèle plus petit, conçu à dessein, gérer la décomposition des requêtes et la collecte de preuves avant même qu’un modèle frontier ne voie le prompt. Dans les déploiements en production de Glean, cette séparation architecturale réduit les temps de réponse d’environ moitié et diminue la consommation de tokens d’environ 25%, sans baisse de la précision des réponses ni de l’exactitude des citations.

L’idée est simple : les grands modèles de langage frontier sont d’excellents raisonneurs, mais réduire la latence signifie ne pas leur demander de tout faire. La récupération, la planification d’outils et la sélection de preuves n’exigent pas le même poids computationnel que la synthèse d’une réponse finale. Un agent dédié peut gérer ces étapes plus vite et à moindre coût.

Pour les équipes en entreprise qui exécutent des milliers de requêtes de recherche par jour, la différence s’amplifie rapidement. Une latence plus faible signifie que les employés obtiennent des réponses en moins d’une seconde au lieu d’attendre plusieurs secondes par requête.

Moins de tokens par requête signifie un coût d’infrastructure plus faible à grande échelle. Et comme le modèle de raisonnement prend toujours en charge la synthèse finale, la précision des réponses et l’exactitude des citations restent intactes. À mesure que la recherche IA en entreprise devient centrale dans la façon dont les organisations opèrent, l’optimisation de ce ratio coût-performance compte plus que jamais.

Comment Waldo réduit la latence et l’utilisation de tokens dans le pipeline de recherche

Waldo est un modèle de recherche agentique qui s’exécute avant le modèle de raisonnement frontier, en gérant la décomposition des requêtes, le routage des outils et la collecte de preuves afin que le modèle plus grand se concentre uniquement sur la synthèse et la génération de réponses.

Au sein de l’Agentic Engine de Glean, Waldo agit comme un orchestrateur léger à l’entrée du pipeline de recherche IA. Lorsqu’une requête arrive, Waldo la décompose en sous-requêtes, décide quels outils et sources de données appeler, et rassemble les preuves pertinentes.

Ce n’est qu’une fois cette phase de récupération terminée que le modèle frontier reçoit un prompt ciblé et pré-filtré pour le raisonnement final. Cette séparation signifie que le modèle le plus coûteux de la pile ne touche jamais au travail de récupération.

Les gains de performance sont concrets. Par appel, Waldo s’exécute environ 10x plus vite qu’un modèle de raisonnement par défaut, avec une latence P50 d’environ 250 ms contre environ trois secondes. Des recherches du Stevens Institute of Technology confirment ce schéma : un seul appel LLM prend environ 800 millisecondes, mais des flux d’orchestration en plusieurs étapes peuvent prendre de 10 à 30 secondes sans couche de récupération spécialisée.

Sur l’ensemble du pipeline, cela se traduit par environ 50% de latence de bout en bout en moins et environ 25% de tokens consommés en moins par requête. Ces chiffres se maintiennent sans régression de la précision des réponses, de l’exactitude des citations ou du scoring de pertinence.

Waldo est construit sur un modèle de base compact, post-entraîné spécifiquement sur des tâches de planification de recherche plutôt que sur le suivi d’instructions généraliste. Cette spécialisation est la clé de sa vitesse.

La décomposition des requêtes et le routage des outils sont des tâches de reconnaissance de motifs qu’un modèle conçu à dessein peut gérer pour une fraction du coût d’un raisonneur frontier. En réservant le grand modèle à la synthèse et au raisonnement, vous obtenez la même précision de réponse tout en réduisant le temps et le calcul consacrés à chaque requête.

Pour des charges de travail en entreprise où le volume de recherche est élevé et la tolérance à la latence faible, cette séparation des responsabilités transforme un choix architectural en un avantage opérationnel mesurable.

Comment les architectures de modèles monolithiques créent des goulets d’étranglement de récupération

La plupart des systèmes d’IA font passer chaque étape par un unique modèle frontier. Compréhension de la requête, sélection d’outils, lecture de documents, évaluation des preuves et génération de réponse s’exécutent tous sur la même architecture lourde. Cette conception monolithique signifie que le modèle le plus coûteux et à la plus forte latence de votre pile gère un travail qui n’exige pas toute sa capacité de raisonnement.

La récupération est un travail bien défini et à haute fréquence. Décomposer une question, choisir quelles sources de données interroger, lire les résultats et décider quand vous avez suffisamment de preuves sont des tâches qui exigent précision et vitesse. Elles n’exigent pas le type de raisonnement en plusieurs étapes qui justifie le coût computationnel d’un modèle frontier.

Ce décalage crée un problème qui se cumule. Les organisations paient des prix de modèles frontier pour ce qui revient à du travail de planification de recherche.

Les utilisateurs subissent la latence de modèles frontier sur des tâches qu’un modèle conçu à dessein pourrait résoudre en millisecondes. À l’échelle de l’entreprise, où Glean Search traite des milliers de requêtes par jour, cette surcharge se reflète à la fois dans les factures d’infrastructure et dans les temps d’attente des employés.

Regardez l’arithmétique. Si un modèle frontier prend environ trois secondes par appel et qu’une requête agentique typique nécessite quatre à six étapes de récupération avant la synthèse finale, la phase de récupération à elle seule peut consommer 12 à 18 secondes de temps d’inférence de grand modèle de langage (LLM).

Un modèle spécialisé exécutant ces mêmes étapes à 250 ms chacune termine la phase de récupération en une à deux secondes. La capacité de raisonnement profond du modèle frontier reste inactive pendant la récupération, en brûlant des tokens sur du travail de reconnaissance de motifs pour lequel il est surqualifié. C’est pourquoi les entreprises utilisent de plus en plus des petits modèles pour 80% de leurs appels d’API et réservent les grands modèles aux raisonnements complexes, réduisant les coûts de calcul jusqu’à 70%.

Les stratégies d’optimisation de prompts et de mise en cache ne traitent pas la cause racine. L’architecture du pipeline détermine comment le calcul est alloué entre récupération et raisonnement, et modifier cette allocation exige une refonte structurelle.

Vous avez besoin d’une architecture où chaque modèle gère le travail pour lequel il a été conçu.

Comment Waldo sépare la planification de recherche du raisonnement

Décomposition des requêtes et routage des outils

Waldo décompose une question complexe en sous-requêtes et détermine quels outils et sources de données appeler avant d’invoquer le modèle frontier. Une question comme « Comment notre chiffre d’affaires du T1 se compare-t-il aux prévisions, et qu’est-ce qui a causé l’écart ? » devient un plan structuré : extraire les revenus réalisés du système financier, récupérer la prévision depuis l’outil de planification, et rechercher dans les documents internes des commentaires sur les écarts.

L’étape de planification inclut la décision de l’ordre des opérations et quels connecteurs parmi les plus de 100 de Glean utiliser. Waldo évalue les dépendances entre les sous-requêtes, les séquence pour gagner en efficacité, et route chacune vers la source de données appropriée. Cette orchestration se déroule au niveau de l’Agentic Engine, où Waldo coordonne la récupération à travers les systèmes d’entreprise sans exiger que le modèle frontier gère la sélection d’outils ou l’enchaînement des appels.

Un avantage peu évident de cette séparation : les décisions de planification de Waldo sont déterministes pour une structure de requête donnée. Le même type de question passe systématiquement par le même schéma de retrieval, ce qui simplifie le débogage et l’audit. Ce comportement déterministe est l’un des principes qui sous-tendent le raisonnement agentique en environnement d’entreprise.

Quand un modèle frontier gère la planification, sa nature non déterministe signifie que des requêtes identiques peuvent produire des séquences d’appels d’outils différentes d’une exécution à l’autre.

Collecte des preuves et détection de suffisance

Après avoir routé les sous-requêtes, Waldo lit les résultats de chaque étape de retrieval et évalue si les preuves collectées sont suffisantes pour répondre à la question d’origine. Si les résultats d’une source sont incomplets, Waldo décide s’il faut poursuivre la recherche ou si les preuves existantes sont suffisamment solides pour passer la main.

Ce comportement de type « s’arrêter quand on en a assez » est crucial. Sans lui, les agents de retrieval ont tendance à sur-collecter, en extrayant des documents depuis toutes les sources disponibles, même si les deux premiers résultats contiennent déjà une réponse définitive. Chaque boucle de retrieval inutile ajoute de la latence et augmente l’utilisation de tokens sans améliorer la réponse finale.

Quand Waldo détermine qu’il dispose de preuves suffisantes, il assemble un package de contexte préconstruit et ancré dans les faits pour le modèle frontier. Le modèle de raisonnement reçoit des passages filtrés et pertinents plutôt que des résultats de recherche bruts. Cette approche s’appuie sur les principes de la retrieval-augmented generation, où l’ancrage des sorties du modèle dans des preuves récupérées améliore la précision et réduit les hallucinations.

L’étape de filtrage de Waldo signifie que le modèle frontier raisonne sur une entrée plus propre et consacre ses tokens à la synthèse plutôt qu’à trier des documents non pertinents.

Ce qui différencie l’architecture de Waldo de la recherche IA standard

Les différences structurelles entre un système de recherche IA monolithique et l’approche à deux modèles de Waldo apparaissent à chaque étape du cycle de vie d’une requête. Voici comment les deux architectures se comparent sur six dimensions qui comptent pour les déploiements en entreprise :

La comparaison met en évidence un principe qui dépasse un produit en particulier : les architectures composables, où des modèles spécialisés prennent en charge des étapes distinctes d’un pipeline, reflètent la direction que prend l’IA en entreprise. Les systèmes monolithiques atteignent un plafond dès qu’on essaie d’optimiser une dimension (vitesse, coût, précision) sans dégrader une autre. Une conception à deux modèles permet d’ajuster chaque étape indépendamment.

Au sein de l’architecture de Glean, cette composabilité préserve la qualité en gardant le modèle frontier concentré sur ce qu’il fait le mieux. Il reçoit des preuves préfiltrées ancrées dans le retrieval tenant compte des permissions de l’Enterprise Graph, puis synthétise ces preuves en réponses précises et sourcées. Le budget de tokens du modèle de raisonnement est entièrement consacré à l’analyse et à la génération de la réponse, au lieu d’être réparti entre les tâches de retrieval et de raisonnement.

Un détail à noter : l’architecture de Waldo ne nécessite pas de remplacer votre modèle frontier. Elle se place en amont dans le pipeline, ce qui signifie que vous pouvez remplacer le modèle de raisonnement en aval au fur et à mesure que de nouvelles versions sortent, sans réentraîner ni reconfigurer la couche de retrieval.

Comment Waldo maintient la qualité des réponses avec moins de tokens

La régression de qualité est le risque typique quand on optimise pour la vitesse ou le coût. Les équipes qui réduisent les budgets de tokens ou passent à des modèles plus petits constatent souvent une baisse de précision et une hausse du taux d’hallucinations. Waldo évite ce compromis en changeant qui fait le retrieval, pas la quantité de preuves collectées.

Le même volume de preuves parvient au modèle frontier dans les deux architectures. Waldo les collecte plus vite et avec moins de surcoût en tokens, mais l’entrée du modèle de raisonnement reste équivalente.

Considérez le rôle de Waldo comme le fait de changer le véhicule de livraison sans réduire la charge utile. Le modèle frontier continue de voir l’ensemble complet des passages pertinents dont il a besoin pour construire une réponse précise et solidement étayée.

Le post-entraînement sur des tâches de planification de recherche est ce qui rend cela possible. Waldo a appris des schémas de récupération spécifiques au domaine grâce à un entraînement ciblé sur la décomposition des requêtes, le routage des outils et la suffisance des preuves.

Un modèle frontier généraliste gère ces tâches de manière satisfaisante, mais un modèle post-entraîné spécifiquement pour la planification de la récupération les traite avec une précision supérieure pour un coût de calcul plus faible. Cette spécialisation est comparable à la manière dont un compilateur optimise le code plus efficacement qu’un interpréteur, même si les deux produisent le même résultat.

La qualité bénéficie aussi d’une entrée plus propre pour le modèle de raisonnement. Lorsqu’un modèle frontier gère sa propre récupération, il reçoit des dumps bruts de documents qui peuvent inclure des passages non pertinents ou des résultats à faible pertinence.

L’étape de filtrage de Waldo supprime le bruit avant la transmission. Le modèle de raisonnement travaille avec un ensemble de preuves plus resserré, ce qui réduit la surface d’hallucination et améliore la précision des citations. La recherche sur la compression de contexte appuie cette approche : la FinOps Foundation indique que le filtrage sémantique peut atteindre des réductions de 70–80% du nombre de tokens envoyés au modèle de langage sous-jacent, avec des améliorations mesurables de la qualité des réponses.

Dans les déploiements enterprise de Glean, basculer la récupération vers Waldo n’a entraîné aucune régression de la précision des réponses ni de la justesse des citations sur des milliers de requêtes en production. Au sein de Glean Assistant, le pipeline tenant compte des permissions de l’Agentic Engine fournit à Waldo un ensemble de preuves cadré, et Waldo ne transmet au modèle frontier que ce qui est pertinent et accessible.

Le modèle de raisonnement produit des résultats équivalents, voire légèrement meilleurs, parce qu’il travaille avec un contexte préfiltré plutôt que d’effectuer lui-même le tri des documents.

Ce que Waldo change pour la performance et les coûts de l’IA en entreprise

Une réduction de 25% du coût en tokens par requête se traduit, par effet cumulatif, par des économies significatives sur les dépenses d’inférence LLM. Pour une organisation qui exécute 50 000 requêtes de recherche IA par jour, cette réduction représente des millions de tokens en moins consommés chaque mois. Aux tarifs actuels des modèles frontier, ces économies peuvent compenser une part significative des coûts d’exploitation d’un déploiement d’IA en entreprise.

Une latence plus faible entraîne un résultat moins évident mais tout aussi important : l’adoption. Dans les déploiements enterprise de Glean en 2025, les données d’usage internes montrent que des temps de réponse supérieurs à deux secondes sont corrélés à une baisse de l’usage répété et à une diminution des taux d’achèvement des tâches.

Lorsque Glean Assistant renvoie des réponses en moins d’une seconde au lieu de trois à quatre secondes, les employés prennent l’habitude de recourir à la recherche IA plutôt que de revenir aux workflows manuels par défaut. Des réponses plus rapides changent tout simplement la question de savoir si les gens utilisent l’outil. Comprendre comment le nombre de tokens en entrée impacte la latence aide à expliquer pourquoi les choix d’architecture au niveau de la couche de récupération ont un effet aussi direct sur l’expérience utilisateur.

L’approche par modèles spécialisés se met aussi à l’échelle de manière plus prévisible qu’une architecture monolithique. À mesure que le volume de requêtes augmente, le modèle frontier prend en charge une part proportionnellement plus faible du calcul total, car Waldo absorbe la charge de travail de récupération. Cela signifie que l’utilisation de votre modèle le plus coûteux évolue de manière sous-linéaire par rapport à la demande, une courbe de coût que les équipes finance peuvent prévoir et planifier.

Les équipes IT et sécurité bénéficient d’un avantage structurel : l’architecture de Waldo ne modifie pas le modèle de permissions ni la couche de gouvernance. La récupération tenant compte des permissions via l’Enterprise Graph fonctionne de la même façon, qu’un modèle frontier ou Waldo gère l’étape de récupération.

Les contrôles d’accès, les journaux d’audit et la gouvernance des données restent intacts. Ajouter un modèle spécialisé au pipeline n’introduit aucune nouvelle surface d’attaque.

La gestion des tokens devient un sujet au niveau du conseil d’administration pour les grandes entreprises qui déploient l’IA à l’échelle, auprès de milliers d’employés. Selon l’enquête de Menlo Ventures auprès de 495 décideurs IA en entreprise, les dépenses enterprise en IA générative ont atteint 37 milliards de dollars en 2025, et le déploiement multi-modèles est devenu la norme à mesure que les organisations reconnaissent que différents modèles excellent dans des tâches différentes. Waldo est un changement d’architecture qui réduit le coût par requête au niveau du modèle, ce que l’ingénierie de prompts et la mise en cache, à elles seules, ne peuvent pas obtenir.

Comment évaluer si un modèle de recherche agentique convient à votre workflow

Commencez par mesurer votre référence actuelle. Suivez la latence de bout en bout, de la soumission de la requête à la livraison de la réponse, la consommation de tokens par requête sur l’ensemble des appels de modèles, et les scores de qualité des réponses, y compris la précision, l’ancrage des citations et le taux d’hallucination. Sans ces chiffres, vous ne pouvez pas quantifier l’impact d’un quelconque changement d’architecture.

Identifiez les schémas à forte composante de récupération dans votre mix de requêtes. Les charges de travail qui impliquent une décomposition fréquente des requêtes, plusieurs appels d’outils par question, ou la lecture à travers plusieurs sources de données, tirent le plus de bénéfices d’un modèle de récupération spécialisé. Si la plupart de vos requêtes sont des recherches simples qui se résolvent en une seule étape de récupération, les gains de latence et de coût d’une architecture à deux modèles seront plus faibles.

Comparez la latence par appel à l’aide d’un benchmark P50. Waldo fonctionne à environ 250 ms en P50, contre environ trois secondes pour un modèle frontier effectuant la même tâche de récupération.

Les chiffres par appel ne racontent pas toute l’histoire. Mesurez la latence de bout en bout sur l’ensemble du pipeline, y compris toutes les étapes de récupération, l’assemblage du contexte et le raisonnement final. La différence cumulée sur les requêtes multi-étapes est là où l’avantage architectural se compose.

Évaluez conjointement la précision des réponses, l’ancrage des citations et les taux d’hallucination, plutôt que de vous appuyer sur un seul indicateur. Les trois doivent rester stables ou s’améliorer après l’introduction d’un modèle de récupération spécialisé. Pour une approche structurée de la mesure de ces dimensions, consultez ce guide sur l’évaluation des agents IA en environnements de production.

Réalisez des comparaisons A/B sur un échantillon représentatif de votre trafic réel de requêtes, et non sur des benchmarks synthétiques. Glean Agents offrent une évaluation intégrée sur ces dimensions, ce qui simplifie le processus de comparaison.

Considérez la trajectoire des coûts sur un horizon de 12 à 18 mois. L’écart entre « le modèle frontier fait tout » et « des modèles spécialisés gèrent la récupération » se creuse à mesure que le volume de requêtes augmente.

Modélisez un scénario dans lequel votre usage de la recherche IA double ou triple, puis comparez les courbes de coûts en tokens des deux architectures. Le point d’inflexion où une approche à deux modèles devient nettement moins chère arrive souvent plus vite que les équipes ne l’imaginent. Approfondir votre compréhension de la façon dont

la recherche d’entreprise avec la technologie LLM évolue peut aider à cadrer cette analyse.

Questions fréquentes

Quelles techniques spécifiques Waldo utilise-t-il pour réduire la latence ?

Waldo utilise la décomposition de requêtes pour découper des questions complexes en sous-requêtes, puis achemine chaque sous-requête vers la source de données appropriée via le framework de connecteurs de Glean. Son mécanisme de détection de suffisance arrête la recherche dès que les preuves sont suffisantes, évitant des appels supplémentaires inutiles. Ces techniques combinées produisent une latence P50 d’environ 250 ms par appel de recherche.

Comment Waldo se compare-t-il à d’autres modèles de recherche en termes de performance ?

Waldo fonctionne environ 10 fois plus vite par appel que l’utilisation d’un modèle frontier pour les mêmes tâches de recherche. Le pipeline de bout en bout affiche environ 50 % de latence en moins et 25 % de tokens consommés en moins. Contrairement aux petits modèles généralistes, Waldo est post-entraîné spécifiquement sur des tâches de planification de recherche, ce qui lui confère une précision plus élevée sur la décomposition de requêtes et le routage d’outils qu’un modèle entraîné pour le suivi d’instructions généraliste.

Quelles métriques les équipes doivent-elles utiliser pour évaluer l’efficacité de Waldo ?

Suivez quatre dimensions : la latence de bout en bout (du moment de la requête à la réponse), la consommation de tokens par requête (sur l’ensemble des appels de modèles dans le pipeline), la précision des réponses (justesse de la réponse finale) et l’ancrage des citations (si les sources citées étayent réellement les affirmations de la réponse). Comparez ces métriques avec et sans le modèle de recherche spécialisé afin d’isoler son impact.

Waldo fonctionne-t-il pour des requêtes simples ou uniquement pour des recherches complexes en plusieurs étapes ?

Waldo gère les deux, mais l’avantage en performance est le plus marqué sur des requêtes complexes en plusieurs étapes qui nécessitent une décomposition et plusieurs appels d’outils. Pour des consultations simples sur une seule source, Waldo traite toujours l’étape de recherche plus rapidement qu’un modèle frontier, mais les gains de temps absolus par requête sont plus faibles, car il y a moins de travail de recherche à déléguer.

Quelles sont les implications pratiques de l’utilisation de Waldo en entreprise ?

Les principales implications sont un coût par requête plus faible, des temps de réponse plus rapides qui favorisent des taux d’adoption plus élevés, et une courbe de coûts plus prévisible à mesure que l’usage augmente. Du point de vue de la gouvernance, Waldo opère au sein du même framework de recherche tenant compte des permissions que le reste de l’architecture de Glean  les contrôles d’accès existants et les capacités d’audit restent donc inchangés.

Le passage de pipelines d’IA monolithiques à des architectures composables fondées sur des modèles spécialisés est déjà en train de transformer la manière dont les équipes en entreprise pensent la performance et le coût de la recherche. Waldo incarne ce changement en pratique : un modèle conçu pour une finalité précise, qui gère la recherche plus vite et à moindre coût, tandis que le modèle frontier se concentre sur la fourniture de réponses exactes et sourcées.

Demandez une démo pour découvrir comment Glean et l’IA peuvent transformer votre environnement de travail. Nous pouvons vous montrer comment Waldo s’intègre à votre infrastructure existante et à quoi ressemblent les gains de performance sur vos données.