Comment Waldo réduit la latence et l’utilisation de tokens sans compromettre la qualité

Waldo, le modèle de recherche agentique de Glean, réduit la latence et l’utilisation de tokens en séparant le travail de récupération du travail de raisonnement, en laissant un modèle plus petit, conçu à cet effet, gérer la décomposition des requêtes et la collecte de preuves avant même qu’un modèle frontier ne voie le prompt. Dans les déploiements en production de Glean, cette séparation architecturale réduit les temps de réponse d’environ moitié et diminue la consommation de tokens d’environ 25 %, sans baisse de la précision des réponses ni de la justesse des citations.

L’idée est simple : les grands modèles de langage frontier excellent en raisonnement, mais réduire la latence signifie ne pas leur demander de tout faire. La récupération, la planification des outils et la sélection des preuves n’exigent pas le même poids de calcul que la synthèse d’une réponse finale. Un agent dédié peut gérer ces étapes plus vite et à moindre coût.

Pour les équipes en entreprise qui exécutent des milliers de requêtes de recherche par jour, la différence se cumule rapidement. Une latence plus faible signifie que les employés obtiennent des réponses en moins d’une seconde, au lieu d’attendre plusieurs secondes par requête.

Moins de tokens par requête signifie des coûts d’infrastructure plus faibles à grande échelle. Et comme le modèle de raisonnement gère toujours la synthèse finale, la précision des réponses et la justesse des citations restent intactes. À mesure que la recherche IA d’entreprise devient centrale dans le fonctionnement des organisations, optimiser ce ratio coût-performance compte plus que jamais.

Comment Waldo réduit la latence et l’utilisation de tokens dans le pipeline de recherche

Waldo est un modèle de recherche agentique qui s’exécute avant le modèle de raisonnement frontier, en gérant la décomposition des requêtes, l’acheminement vers les outils et la collecte de preuves afin que le modèle plus grand se concentre uniquement sur la synthèse et la génération de réponses.

Au sein de l’Agentic Engine de Glean, Waldo agit comme un orchestrateur léger à l’avant du pipeline de recherche IA. Lorsqu’une requête arrive, Waldo la découpe en sous-requêtes, décide quels outils et sources de données appeler, et rassemble les preuves pertinentes.

Ce n’est qu’une fois cette phase de récupération terminée que le modèle frontier reçoit un prompt ciblé et préfiltré pour le raisonnement final. Cette séparation signifie que le modèle le plus coûteux de la pile ne touche jamais au travail de récupération.

Les gains de performance sont concrets. Par appel, Waldo s’exécute environ 10x plus vite qu’un modèle de raisonnement par défaut, avec une latence P50 d’environ 250 ms contre environ trois secondes. Des recherches du Stevens Institute of Technology confirment ce schéma : un seul appel LLM prend environ 800 millisecondes, mais des flux d’orchestration en plusieurs étapes peuvent prendre 10 à 30 secondes sans une couche de récupération spécialisée.

Sur l’ensemble du pipeline, cela se traduit par environ 50 % de latence de bout en bout en moins et environ 25 % de tokens consommés en moins par requête. Ces chiffres se maintiennent sans régression de la précision des réponses, de la justesse des citations ou du scoring de pertinence.

Waldo est construit sur un modèle de base compact, post-entraîné spécifiquement sur des tâches de planification de recherche plutôt que sur le suivi d’instructions généraliste. Cette spécialisation est la clé de sa vitesse.

La décomposition des requêtes et l’acheminement vers les outils sont des tâches de reconnaissance de schémas qu’un modèle conçu à cet effet peut gérer pour une fraction du coût d’un reasoner frontier. En réservant le grand modèle à la synthèse et au raisonnement, vous obtenez la même précision des réponses tout en réduisant le temps et le calcul dépensés à chaque requête.

Pour des charges de travail en entreprise où le volume de recherche est élevé et la tolérance à la latence faible, cette séparation des responsabilités transforme un choix architectural en avantage opérationnel mesurable.

Comment les architectures de modèles monolithiques créent des goulots d’étranglement côté récupération

La plupart des systèmes d’IA font passer chaque étape par un seul modèle frontier. Compréhension de la requête, sélection des outils, lecture de documents, évaluation des preuves et génération de la réponse s’exécutent tous sur la même architecture lourde. Cette conception monolithique signifie que le modèle le plus coûteux et le plus lent de votre pile prend en charge un travail qui ne nécessite pas toute sa capacité de raisonnement.

La récupération est un travail bien défini et à haute fréquence. Décomposer une question, choisir quelles sources de données interroger, lire les résultats et décider quand on dispose de suffisamment de preuves sont des tâches qui exigent précision et vitesse. Elles ne requièrent pas le type de raisonnement en plusieurs étapes qui justifie le coût de calcul d’un modèle frontier.

Ce décalage crée un problème qui se cumule. Les organisations paient des prix de modèle frontier pour ce qui revient à du travail de planification de recherche.

Les utilisateurs subissent la latence des modèles frontier sur des tâches qu’un modèle conçu à cet effet pourrait résoudre en millisecondes. À l’échelle de l’entreprise, où Glean Search traite des milliers de requêtes par jour, cette surcharge se répercute à la fois sur les factures d’infrastructure et sur les temps d’attente des employés.

Considérez le calcul. Si un modèle frontier prend environ trois secondes par appel et qu’une requête agentique typique nécessite quatre à six étapes de récupération avant la synthèse finale, la phase de récupération à elle seule peut consommer 12 à 18 secondes de temps d’inférence de grand modèle de langage (LLM).

Un modèle spécialisé exécutant ces mêmes étapes à 250 ms chacune termine la phase de récupération en une à deux secondes. La capacité de raisonnement approfondi du modèle frontier reste inactive pendant la récupération, brûlant des tokens sur un travail de reconnaissance de schémas pour lequel il est surdimensionné. C’est pourquoi les entreprises utilisent de plus en plus de petits modèles pour 80 % de leurs appels API et réservent les grands modèles au raisonnement complexe, réduisant les coûts de calcul jusqu’à 70 %.

Les stratégies d’optimisation des prompts et de mise en cache ne s’attaquent pas à la cause racine. L’architecture du pipeline détermine comment le calcul est réparti entre récupération et raisonnement, et modifier cette répartition nécessite une refonte structurelle.

Il vous faut une architecture où chaque modèle gère le travail pour lequel il a été conçu.

Comment Waldo sépare la planification de recherche du raisonnement

Décomposition des requêtes et acheminement vers les outils

Waldo décompose une question complexe en sous-requêtes et détermine quels outils et sources de données appeler avant d’invoquer le modèle frontier. Une question comme « Comment notre chiffre d’affaires du T1 s’est-il comparé aux prévisions, et qu’est-ce qui explique l’écart ? » devient un plan structuré : extraire le réalisé du chiffre d’affaires depuis le système financier, récupérer la prévision depuis l’outil de planification, et rechercher dans les documents internes les commentaires sur les écarts.

L’étape de planification consiste à décider de l’ordre des opérations et des connecteurs de Glean (plus de 100) à interroger. Waldo évalue les dépendances entre les sous-requêtes, les séquence pour gagner en efficacité et achemine chacune vers la source de données appropriée. Cette orchestration se déroule au niveau de l’Agentic Engine, où Waldo coordonne la récupération à travers les systèmes de l’entreprise sans obliger le modèle frontier à gérer la sélection des outils ou le séquencement des appels.

Un avantage moins évident de cette séparation : les décisions de planification de Waldo sont déterministes pour une structure de requête donnée. Le même type de question passe de manière cohérente par le même schéma de récupération, ce qui simplifie le débogage et l’audit. Ce comportement déterministe est l’un des principes qui sous-tendent le raisonnement agentique en contexte d’entreprise.

Quand un modèle frontier gère la planification, sa nature non déterministe fait que des requêtes identiques peuvent produire des séquences d’appels d’outils différentes d’une exécution à l’autre.

Collecte de preuves et détection de suffisance

Après avoir acheminé les sous-requêtes, Waldo lit les résultats de chaque étape de récupération et évalue si les preuves collectées sont suffisantes pour répondre à la question initiale. Si les résultats d’une source sont incomplets, Waldo décide s’il faut chercher davantage ou si les preuves existantes sont suffisamment solides pour passer la main.

Ce comportement « s’arrêter quand on en a assez » est critique. Sans lui, les agents de récupération ont tendance à sur-collecter, en extrayant des documents de toutes les sources disponibles, même si les deux premiers résultats contiennent déjà une réponse définitive. Chaque boucle de récupération inutile ajoute de la latence et augmente l’utilisation de tokens sans améliorer la réponse finale.

Lorsque Waldo détermine qu’il dispose de preuves suffisantes, il assemble un paquet de contexte préconstruit et ancré pour le modèle frontier. Le modèle de raisonnement reçoit des extraits filtrés et pertinents plutôt que des résultats de recherche bruts. Cette approche s’appuie sur les principes de la génération augmentée par la récupération, où l’ancrage des sorties du modèle dans des preuves récupérées améliore la précision et réduit les hallucinations.

L’étape de filtrage de Waldo signifie que le modèle frontier raisonne sur une entrée plus propre et consacre ses tokens à la synthèse plutôt qu’à trier des documents non pertinents.

Ce qui rend l’architecture de Waldo différente de la recherche IA standard

Les différences structurelles entre un système de recherche IA monolithique et l’approche à deux modèles de Waldo apparaissent à chaque étape du cycle de vie d’une requête. Voici comment les deux architectures se comparent selon six dimensions essentielles pour les déploiements en entreprise :

La comparaison met en évidence un principe qui dépasse tout produit individuel : les architectures composables, où des modèles spécialisés prennent en charge des étapes distinctes d’un pipeline, reflètent la direction prise par l’IA d’entreprise. Les systèmes monolithiques atteignent un plafond lorsqu’on cherche à optimiser une dimension (vitesse, coût, précision) sans dégrader une autre. Une conception à deux modèles permet d’ajuster chaque étape indépendamment.

Au sein de l’architecture de Glean, cette composabilité préserve la qualité en maintenant le modèle frontier concentré sur ce qu’il fait le mieux. Il reçoit des preuves préfiltrées, ancrées dans la récupération tenant compte des autorisations de l’Enterprise Graph, puis synthétise ces preuves en réponses précises et citées. Le budget de tokens du modèle de raisonnement est entièrement consacré à l’analyse et à la génération de la réponse, plutôt que d’être réparti entre récupération et raisonnement.

Un détail important : l’architecture de Waldo ne nécessite pas de remplacer votre modèle frontier. Elle se situe en amont dans le pipeline, ce qui signifie que vous pouvez remplacer le modèle de raisonnement en aval au fil des nouvelles versions, sans réentraîner ni reconfigurer la couche de récupération.

Comment Waldo maintient la qualité des réponses avec moins de tokens

La régression de qualité est le risque typique quand vous optimisez la vitesse ou le coût. Les équipes qui réduisent les budgets de tokens ou passent à des modèles plus petits voient souvent la précision baisser et les taux d’hallucination augmenter. Waldo évite ce compromis en changeant qui effectue la récupération, pas la quantité de preuves collectées.

Le même volume de preuves atteint le modèle de pointe dans les deux architectures. Waldo les collecte plus vite et avec moins de surcharge en tokens, mais l’entrée du modèle de raisonnement reste équivalente.

Considérez le rôle de Waldo comme le fait de changer le véhicule de livraison sans réduire la charge utile. Le modèle de pointe voit toujours l’ensemble complet des passages pertinents dont il a besoin pour construire une réponse exacte et étayée.

Le post-training sur des tâches de planification de recherche est ce qui rend cela possible. Waldo a appris des schémas de récupération spécifiques au domaine grâce à un entraînement ciblé sur la décomposition de requêtes, le routage d’outils et la suffisance des preuves.

Un modèle de pointe généraliste gère ces tâches de manière correcte, mais un modèle post-entraîné spécifiquement pour la planification de la récupération les gère avec une précision plus élevée à un coût de calcul plus faible. Cette spécialisation est comparable à la façon dont un compilateur optimise le code plus efficacement qu’un interpréteur, même si les deux produisent le même résultat.

L’histoire de la qualité bénéficie aussi d’une entrée plus propre pour le modèle de raisonnement. Quand un modèle de pointe gère sa propre récupération, il reçoit des dumps de documents bruts pouvant inclure des passages non pertinents ou des résultats à faible pertinence.

L’étape de filtrage de Waldo supprime le bruit avant le passage de relais. Le modèle de raisonnement travaille avec un ensemble de preuves plus resserré, ce qui réduit la surface d’hallucination et améliore la précision des citations. La recherche sur la compression du contexte soutient cette approche : la FinOps Foundation rapporte que le filtrage sémantique peut permettre des réductions de 70 à 80 % des tokens envoyés au modèle de langage sous-jacent, avec des améliorations mesurables de la qualité des réponses.

Dans les déploiements en entreprise de Glean, le passage de la récupération à Waldo n’a entraîné aucune régression de la précision des réponses ni de la justesse des citations sur des milliers de requêtes de production. Au sein de Glean Assistant, le pipeline tenant compte des permissions de l’Agentic Engine fournit à Waldo un ensemble de preuves délimité, et Waldo ne transmet au modèle de pointe que ce qui est pertinent et accessible.

Le modèle de raisonnement produit des sorties équivalentes ou légèrement meilleures, car il travaille avec un contexte préfiltré plutôt que d’effectuer lui-même le tri des documents.

Ce que Waldo change pour les performances et les coûts de l’IA en entreprise

Une réduction de 25 % du coût en tokens par requête se cumule en économies significatives sur les dépenses d’inférence LLM. Pour une organisation exécutant 50 000 requêtes de recherche IA par jour, cette réduction se traduit par des millions de tokens consommés en moins chaque mois. Aux tarifs actuels des modèles de pointe, ces économies peuvent compenser une part significative du coût d’exploitation d’un déploiement d’IA en entreprise.

Une latence plus faible entraîne un résultat moins évident mais tout aussi important : l’adoption. Sur les déploiements en entreprise de Glean en 2025, les données d’usage internes montrent que des temps de réponse au-delà de deux secondes sont corrélés à une baisse de l’usage répété et à une diminution des taux de réalisation des tâches.

Quand Glean Assistant renvoie des réponses en moins d’une seconde au lieu de trois à quatre secondes, les employés prennent l’habitude de recourir à la recherche IA plutôt que de s’en tenir à des workflows manuels. Des réponses plus rapides changent tout simplement la question de savoir si les gens utilisent l’outil ou non. Comprendre l’impact du nombre de tokens d’entrée sur la latence aide à expliquer pourquoi les choix d’architecture au niveau de la couche de récupération ont un effet aussi direct sur l’expérience utilisateur.

L’approche par modèle spécialisé se met aussi à l’échelle de façon plus prévisible qu’une architecture monolithique. À mesure que le volume de requêtes augmente, le modèle de pointe prend en charge une part proportionnellement plus faible du calcul total, car Waldo absorbe la charge de travail de récupération. Cela signifie que l’utilisation de votre modèle le plus coûteux augmente de manière sous-linéaire avec la demande, une courbe de coûts que les équipes finance peuvent prévoir et intégrer à leur planification.

Les équipes IT et sécurité bénéficient d’un avantage structurel : l’architecture de Waldo ne change ni le modèle d’autorisation ni la couche de gouvernance. La récupération tenant compte des permissions via l’Enterprise Graph fonctionne de la même manière, qu’un modèle de pointe ou Waldo gère l’étape de récupération.

Les contrôles d’accès, les journaux d’audit et la gouvernance des données restent intacts. L’ajout d’un modèle spécialisé au pipeline n’introduit aucune nouvelle surface d’attaque.

La gestion des tokens devient un sujet au niveau du conseil d’administration pour les grandes entreprises qui déploient l’IA auprès de milliers d’employés. Selon l’enquête de Menlo Ventures auprès de 495 décideurs en IA en entreprise, les dépenses d’IA générative en entreprise ont atteint 37 milliards de dollars en 2025, et le déploiement multi-modèles est devenu la norme, les organisations reconnaissant que différents modèles excellent dans différentes tâches. Waldo est un changement d’architecture qui réduit le coût par requête au niveau du modèle, ce que l’ingénierie de prompt et la mise en cache, à elles seules, ne peuvent pas réaliser.

Comment évaluer si un modèle de recherche agentique convient à votre workflow

Commencez par mesurer votre référence actuelle. Suivez la latence de bout en bout entre la soumission de la requête et la livraison de la réponse, la consommation de tokens par requête sur l’ensemble des appels de modèles, ainsi que des scores de qualité des réponses incluant la précision, l’ancrage des citations et le taux d’hallucination. Sans ces chiffres, vous ne pouvez pas quantifier l’impact d’un changement d’architecture.

Identifiez les schémas fortement orientés récupération dans votre mix de requêtes. Les workloads qui impliquent une décomposition fréquente des requêtes, plusieurs appels d’outils par question, ou la lecture à travers plusieurs sources de données tirent le plus de bénéfices d’un modèle de récupération spécialisé. Si la plupart de vos requêtes sont de simples consultations qui se résolvent en une seule étape de récupération, les gains de latence et de coût d’une architecture à deux modèles seront plus faibles.

Comparez la latence par appel à l’aide d’un benchmark P50. Waldo s’exécute à environ 250 ms P50, contre environ trois secondes pour un modèle de pointe effectuant la même tâche de récupération.

Les chiffres par appel ne racontent pas toute l’histoire. Mesurez la latence de bout en bout sur l’ensemble du pipeline, y compris toutes les étapes de récupération, l’assemblage du contexte et le raisonnement final. La différence cumulée sur les requêtes multi-étapes est l’endroit où l’avantage d’architecture se compose.

Évaluez ensemble la précision des réponses, l’ancrage des citations et les taux d’hallucination, plutôt que de vous appuyer sur un seul indicateur. Les trois doivent rester stables ou s’améliorer après l’introduction d’un modèle de récupération spécialisé. Pour une approche structurée de la mesure de ces dimensions, consultez ce guide sur l’évaluation des agents IA en environnements de production.

Réalisez des comparaisons A/B sur un échantillon représentatif de votre trafic de requêtes réel, et non sur des benchmarks synthétiques. Glean Agents proposent une évaluation intégrée selon ces dimensions, ce qui simplifie le processus de comparaison.

Évaluez la trajectoire des coûts sur un horizon de 12 à 18 mois. L’écart entre « le modèle de pointe fait tout » et « des modèles spécialisés gèrent la récupération » se creuse à mesure que le volume de requêtes augmente.

Modélisez un scénario où votre usage de la recherche IA double ou triple, puis comparez les courbes de coût en tokens des deux architectures. Le point d’inflexion où une approche à deux modèles devient nettement moins chère arrive souvent plus vite que les équipes ne l’imaginent. Élargir votre compréhension de l’évolution de la recherche d’entreprise avec la technologie LLM peut aider à cadrer cette analyse.

Questions fréquentes

Quelles techniques spécifiques Waldo utilise-t-il pour réduire la latence ?

Waldo utilise la décomposition de requêtes pour découper les questions complexes en sous-requêtes, puis achemine chaque sous-requête vers la source de données appropriée via le framework de connecteurs de Glean. Son mécanisme de détection de suffisance arrête la récupération dès que les éléments de preuve sont suffisants, évitant des appels supplémentaires inutiles. Combinées, ces techniques produisent une latence P50 d’environ 250 ms par appel de récupération.

Comment Waldo se compare-t-il à d’autres modèles de recherche en termes de performance ?

Waldo fonctionne environ 10x plus vite par appel que l’utilisation d’un modèle de pointe pour les mêmes tâches de récupération. Le pipeline de bout en bout affiche environ 50 % de latence en moins et 25 % de tokens consommés en moins. Contrairement aux petits modèles généralistes, Waldo est post-entraîné spécifiquement sur des tâches de planification de recherche, ce qui lui confère une précision supérieure pour la décomposition de requêtes et le routage d’outils par rapport à un modèle entraîné pour le suivi d’instructions général.

Quelles métriques les équipes doivent-elles utiliser pour évaluer l’efficacité de Waldo ?

Suivez quatre dimensions : la latence de bout en bout (temps entre la requête et la réponse), la consommation de tokens par requête (sur l’ensemble des appels de modèles dans le pipeline), la précision des réponses (exactitude de la réponse finale) et l’ancrage des citations (si les sources citées étayent réellement les affirmations de la réponse). Comparez ces métriques avec et sans le modèle de récupération spécialisé afin d’isoler son impact.

Waldo fonctionne-t-il pour des requêtes simples ou uniquement pour des recherches complexes en plusieurs étapes ?

Waldo gère les deux, mais l’avantage en performance est le plus marqué sur des requêtes complexes, en plusieurs étapes, qui nécessitent une décomposition et plusieurs appels d’outils. Pour des recherches simples sur une seule source, Waldo traite toujours l’étape de récupération plus rapidement qu’un modèle de pointe, mais les gains de temps absolus par requête sont plus faibles, car il y a moins de travail de récupération à décharger.

Quelles sont les implications pratiques de l’utilisation de Waldo en environnement d’entreprise ?

Les principales implications sont un coût par requête plus faible, des temps de réponse plus rapides qui favorisent des taux d’adoption plus élevés, et une courbe de coût plus prévisible à mesure que l’usage augmente. Du point de vue de la gouvernance, Waldo fonctionne dans le même cadre de récupération tenant compte des autorisations que le reste de l’architecture de Glean, de sorte que les contrôles d’accès et les capacités d’audit existants restent inchangés.

Le passage de pipelines IA monolithiques à des architectures composables fondées sur des modèles spécialisés transforme déjà la manière dont les équipes en entreprise pensent la performance et le coût de la recherche. Waldo incarne ce changement en pratique : un modèle conçu à cet effet qui gère la récupération plus rapidement et à moindre coût, tandis que le modèle de pointe se concentre sur la fourniture de réponses précises, avec citations.

Demandez une démo pour découvrir comment Glean et l’IA peuvent transformer votre lieu de travail. Nous pouvons vous présenter comment Waldo s’intègre à votre infrastructure existante et à quoi ressemblent les gains de performance sur vos données.