Une plateforme d'IA d'entreprise économe en tokens produit de solides résultats sans consommer plus de contexte, de puissance de calcul et de charge de travail qu'une tâche n'en exige réellement. L'efficacité dépend bien plus de la manière dont la plateforme récupère, sélectionne et achemine le contexte que du modèle qu'elle exécute ou de la taille de sa fenêtre de contexte.
L'efficacité en tokens devient une véritable préoccupation dès que l'IA dépasse le stade pilote. Si de nombreuses évaluations en phase de production se concentrent sur la qualité du modèle, le nombre de connecteurs ou le ressenti de la démo, aucun de ces éléments ne vous indique si la plateforme reste efficace à mesure que son utilisation s'étend aux équipes, aux outils et aux workflows multi-étapes.
Les coûts grimpent en production pour des raisons prévisibles : la plateforme récupère trop d'informations, transmettant des documents entiers au lieu des seuls passages pertinents. Ou bien elle achemine chaque tâche vers un même parcours de modèle coûteux et retraite les mêmes informations à chaque étape. Les dépenses augmentent, les réponses ralentissent et l'ancrage s'affaiblit.
À grande échelle, l'efficacité en tokens est une question de conception de la plateforme, le prix du modèle n'étant que l'un des nombreux paramètres. La bonne plateforme améliore simultanément le coût, la latence et la qualité des réponses : elle récupère un meilleur contexte, sélectionne uniquement ce que la tâche requiert et gère intelligemment les travaux multi-étapes.
La question suivante qui s'impose est de savoir comment optimiser l'efficacité en tokens lors du déploiement d'une plateforme d'IA, et c'est là que ce guide prend le relais : ce qu'il faut évaluer avant de s'engager, les signaux d'alerte à surveiller et la manière dont Glean aborde le déploiement économe en tokens.
Commencez par la bonne question d'évaluation
La première erreur que commettent souvent les équipes est de se demander quel modèle est le moins cher. Cette question est trop étroite pour guider un achat d'entreprise, et elle détourne de la vraie question : quelle plateforme produit le meilleur résultat par token ?
Mesuré de cette façon, l'objectif devient le travail utile et ancré produit avec le moins de gaspillage. Une plateforme qui dépense légèrement plus de tokens mais renvoie une réponse plus rapide et mieux ancrée peut être plus efficace qu'une plateforme qui semble moins chère sur le papier mais génère ensuite davantage de tentatives, de révisions et de frictions dans les workflows.
Les acheteurs en entreprise devraient évaluer l'utilisation des tokens à travers quatre résultats :
- Coût par tâche
- Latence par tâche
- Qualité et ancrage des réponses
- Évolutivité entre les workflows et les équipes
Glean optimise la récupération, la sélection du contexte et l'orchestration, là où se réalisent les plus grands gains d'efficacité, avant même que le modèle ne génère un seul token. À l'inverse, un modèle bon marché au sein d'une plateforme inefficace reste un déploiement coûteux.
Évaluez la qualité de la récupération avant tout le reste
La qualité de la récupération est le premier point de contrôle à examiner de près, car la majeure partie du gaspillage commence en amont. Lorsqu'une plateforme récupère trop de sources, les classe mal ou transmet des documents entiers pour quelques lignes pertinentes, le modèle consomme des tokens à lire des éléments dont il n'a pas besoin.
L'optimisation de la récupération est la solution : réduire l'espace de recherche avant le début de la génération, en utilisant la pertinence, les autorisations, la récence, la propriété, les métadonnées et les relations entre systèmes pour décider quelles preuves appartiennent au contexte de travail.
Questions à poser aux fournisseurs :
- Comment la plateforme décide-t-elle quelles sources récupérer ?
- Peut-elle renvoyer des preuves au niveau du passage plutôt que des documents complets ?
- Comment gère-t-elle les résultats dupliqués, obsolètes ou faiblement liés ?
- Comment classe-t-elle les informations entre plusieurs systèmes ?
L'étendue des connecteurs peut être trompeuse ici. L'accès à de nombreux systèmes est utile, mais l'accès à lui seul ne crée pas d'efficacité. La plateforme doit encore extraire les bonnes preuves de ces systèmes avec précision.
Glean est conçu autour de ce problème. Il récupère les connaissances vivantes de l'entreprise entre les systèmes, respecte les autorisations et fait remonter les preuves les plus pertinentes plutôt que de forcer le modèle à lire de larges déversements de documents. Une meilleure récupération tend à améliorer la qualité et la rapidité tout en réduisant les coûts.
Lors d'une évaluation en aveugle et randomisée portant sur environ 280 requêtes d'entreprise complexes sur des sources de données comparables, les évaluateurs ayant exprimé une préférence ont jugé les réponses de Glean correctes environ 1,9 fois plus souvent que celles de ChatGPT et 1,6 fois plus souvent que celles de Claude. C'est le type d'écart qui découle d'un ancrage dans un contexte d'entreprise tenant compte des autorisations, plutôt que du choix du modèle.
Évaluez la manière dont la plateforme gère le contexte, et pas seulement l'accès
De nombreux fournisseurs mettent en avant l'accès au contexte : nombre de connecteurs, grandes fenêtres, ingestion étendue. Un déploiement économe en tokens dépend plutôt de la gestion du contexte. Une plateforme peut se connecter à toutes les principales applications SaaS et gaspiller tout de même des tokens si elle ne parvient pas à restreindre, délimiter, dédupliquer et prioriser ce qui atteint le modèle.
La distinction qu'il vaut la peine de faire valoir auprès des fournisseurs est de savoir si la plateforme se contente d'accéder aux données ou si elle est également capable d'en faire une sélection. Se connecter à une source est la partie facile ; décider quels rares passages une tâche nécessite réellement est ce qui influence la dépense en tokens.
Recherchez des plateformes qui :
- Ne transmettent que les preuves requises par la tâche
- Dédupliquent le contexte répétitif entre les systèmes
- Respectent automatiquement les autorisations
- Privilégient les sources actuelles et à haute confiance plutôt que les sources obsolètes
- Gardent le contexte de travail concis même lorsque le matériel source est volumineux
Une grande fenêtre de contexte ne peut pas remplacer une mauvaise gestion du contexte. Remplir une fenêtre de matériel marginal peut nuire à la qualité des réponses comme au coût : les modèles prêtent moins fidèlement attention au passage pertinent lorsqu'il est enfoui parmi des milliers de tokens de remplissage. Le coût et la latence refont malgré tout surface en production.
Glean traite le contexte comme quelque chose à gérer, et non à accumuler. Le système évalue ce qui est actuel, connecté, conscient des autorisations et pertinent pour la tâche — c'est pourquoi la récupération et l'ancrage portent une grande partie de l'histoire de l'efficacité. Dans un benchmark portant sur environ 175 requêtes d'entreprise, le contexte d'entreprise de Glean a été préféré environ 2,5 fois plus souvent que les outils MCP prêts à l'emploi, qui utilisaient en moyenne environ 30 % de tokens en plus. Le test a maintenu constants le modèle et le harnais, et n'a échangé que la couche de contexte.
Recherchez un routage intelligent des modèles et un raisonnement calibré
Toutes les tâches n'exigent pas la même puissance. Une plateforme qui traite chaque étape comme un travail de modèle de pointe devient rapidement coûteuse.
La récupération, la planification, la synthèse, le résumé et la prise d'action font souvent appel à des modèles différents. Certaines étapes nécessitent un raisonnement approfondi ; beaucoup non. Acheminer le travail vers le bon modèle devient un critère d'achat clé dès lors que vous prenez en charge plusieurs workflows à grande échelle.
Questions à poser :
- La plateforme peut-elle acheminer le travail entre différents modèles ?
- Peut-elle réserver le raisonnement coûteux aux étapes qui en ont besoin ?
- Peut-elle utiliser des modèles plus petits ou spécialisés pour les étapes plus simples ?
- Les administrateurs peuvent-ils gouverner l'utilisation des modèles par workflow ou par niveau de risque ?
Le routage adapté est l'un des moyens les plus directs de réduire le coût d'inférence de l'IA : les tâches plus simples s'exécutent sur des modèles moins coûteux au lieu de payer le prix fort pour chaque étape. L'avantage ne se limite toutefois pas à un coût de tokens IA réduit. La latence et le débit s'améliorent aussi, car les tâches simples n'attendent plus derrière des chaînes de raisonnement surdimensionnées.
C'est aussi là que la démo la plus séduisante peut masquer une architecture inefficace : un modèle premium, un contexte surdimensionné, pour chaque tâche. Une plateforme plus mature dépense souvent moins parce qu'elle sait quelles étapes n'ont pas besoin d'un modèle de pointe.
Le Model Hub de Glean donne aux administrateurs accès à plus de 15 modèles leaders sur Amazon Bedrock, Google Vertex AI et Azure OpenAI via une seule clé universelle, et le créateur d'agents prend en charge la sélection de modèle par étape, afin que chaque phase d'un workflow puisse s'exécuter sur le niveau approprié. Glean Search achemine déjà les recherches plus simples vers des modèles légers et réserve le raisonnement plus poussé aux requêtes complexes et multi-sources. Pour environ 70 % des interactions avec Glean Assistant, la plateforme sélectionne automatiquement le modèle en fonction du contexte de la tâche. Les administrateurs conservent la gouvernance sur les familles de modèles disponibles et sur leur utilisation. Pour un examen plus approfondi des mécanismes de routage, découvrez comment Glean aborde le routage des tokens.
Testez l'orchestration multi-étapes dans des workflows réalistes
Les démos à un seul tour montrent rarement où les coûts s'accumulent. Le véritable test est un workflow multi-étapes : collecter des informations, résumer, décider, rechercher à nouveau, et éventuellement agir. Une orchestration faible multiplie le gaspillage à chaque tour.
Voici les schémas d'échec les plus courants :
- Recharger le même contexte brut à chaque étape
- Transmettre des résultats intermédiaires surdimensionnés sans compression
- Recourir à un outil alors qu'une étape plus simple suffirait
- Relancer une recherche large alors que le système dispose déjà de ce dont il a besoin
- Laisser le contexte actif enfler au fil du workflow
Une plateforme plus robuste maintient une mémoire de travail bien cadrée. Elle résume, met en cache, compacte et achemine afin que la tâche ne s'alourdisse pas à chaque étape. Testez des tâches réalistes, pas des prompts ponctuels. Par exemple :
- Un résumé de projet transversal élaboré à partir de plusieurs systèmes
- Une réponse d'assistance ou de politique qui nécessite des preuves ancrées
- Une tâche de recherche couvrant la récupération, la synthèse et une action de suivi
- Un workflow marketing qui rassemble plusieurs entrées en un livrable exploitable
Poursuivez en demandant ce qu'il advient du contexte lors de tâches de longue durée ; si la plateforme recharge les mêmes informations ; dans quelle mesure elle résume les résultats intermédiaires ; et comment elle décide qu'un appel d'outil est réellement nécessaire.
La plateforme de Glean va au-delà de la recherche pour cette raison précise. Son Agentic Engine maintient l'état à travers les étapes d'un workflow, de sorte que les appels en aval reçoivent des résultats intermédiaires structurés plutôt que de relire l'intégralité du contexte accumulé à chaque tour, et elle compresse le contexte récupéré avant de le transmettre aux étapes de raisonnement. Cela empêche l'ensemble de travail d'enfler à mesure qu'une tâche s'exécute. Une plateforme doit prouver qu'elle peut orchestrer un workflow complet de manière efficace, et pas seulement répondre correctement à une seule requête.
Vérifiez l'observabilité, la gouvernance et la mesure
Vous ne pouvez pas gérer une efficacité en matière de tokens que vous ne voyez pas. L'observabilité et la gouvernance sont des critères d'achat essentiels, pas de simples commodités pour administrateurs. Les équipes ont besoin de savoir quels workflows sont efficaces, où se produit le gaspillage et si les résultats restent ancrés à mesure que l'utilisation augmente.
Recherchez la capacité d'inspecter :
- Les tokens par tâche réussie
- La latence par workflow
- La qualité de la récupération et la sélection des preuves
- L'ancrage des réponses et leur étayage par les sources
- L'utilisation des modèles par workflow, équipe ou cas d'usage
- L'exposition aux coûts et les contrôles d'administration
Une utilisation non maîtrisée mène souvent à des dépenses non maîtrisées. Lorsque chaque workflow peut effectuer des recherches larges, appeler le même modèle coûteux et s'exécuter sans mesure, une plateforme qui paraissait convenable en phase pilote devient difficile à gérer par la suite.
Glean relie l'efficacité à l'ancrage, aux permissions et à l'évaluation. Son observabilité des agents et ses évaluations vous offrent une visibilité étape par étape sur le comportement des agents — où les tokens s'accumulent, quel niveau de modèle a traité chaque étape et quelles preuves la réponse a utilisées. Ce sont les éléments dont vous avez besoin pour juger si le système améliore les résultats par token au fil du temps.
Surveillez ces signaux d'alerte lors de l'évaluation
Quelques signes avant-coureurs reviennent lorsqu'une plateforme risque de devenir gourmande en tokens en production.
- Le fournisseur ne parle que de modèles, pas de la conception de la plateforme. Une conversation focalisée sur l'accès aux modèles, les grilles tarifaires ou la taille des fenêtres sous-estime les éléments de la pile qui déterminent réellement l'efficacité.
- La démo s'appuie sur un contexte surdimensionné plutôt que sur une récupération précise. Une plateforme qui ne cesse de l'emporter en envoyant plus d'informations au modèle masque peut-être une récupération faible par la force brute.
- L'équipe ne parvient pas à expliquer comment elle restreint le contexte. Si personne ne peut décrire le fonctionnement de la pertinence, des permissions, de la fraîcheur, du classement ou de la sélection de passages, partez du principe que le système récupère trop d'informations.
- Chaque tâche suit le même chemin de modèle coûteux. L'absence de flexibilité de routage signifie généralement que la plateforme aura du mal à équilibrer coût, rapidité et qualité à mesure que l'utilisation croît.
- Il y a peu de visibilité sur les dépenses par tâche ou par workflow. Si les administrateurs ne peuvent pas rattacher l'utilisation à un workflow, à un schéma de comportement ou à un chemin de modèle, l'optimisation reste réactive.
- Elle brille dans les démos à un seul tour mais trébuche sur les tâches multi-étapes. Ce schéma révèle davantage des problèmes d'orchestration que des limites de modèle.
Utilisez une grille d'évaluation simple pour comparer les plateformes
Une grille d'évaluation légère rend les évaluations concrètes, surtout lorsque plusieurs parties prenantes sont impliquées.
| Catégorie | Ce qu'il faut rechercher | Pourquoi c'est important |
|---|---|---|
| Précision de la récupération | Preuves au niveau des passages, classement solide, restriction tenant compte des permissions | Réduit le gaspillage de tokens avant même le début de la génération |
| Sélection du contexte | Déduplication, contexte circonscrit, priorité aux sources actuelles | Évite les prompts bruyants et répétitifs |
| Flexibilité du routage | Plusieurs chemins de modèles, raisonnement dimensionné au besoin, contrôles d'administration | Améliore le rapport prix-performance sur l'ensemble des tâches |
| Efficacité de l'orchestration | Synthèse, mise en cache, état intermédiaire compact | Empêche le gaspillage de s'accumuler au fil des étapes |
| Latence | Exécution rapide dans des workflows réalistes | L'efficacité doit améliorer l'expérience utilisateur, pas seulement les coûts |
| Observabilité et gouvernance | Visibilité au niveau des workflows, vérifications de fiabilité, contrôles des dépenses | Rend l'optimisation gérable en production |
| Qualité des résultats par token | Des réponses solides sans contexte superflu | Relie l'efficacité à la valeur métier |
La grille d'évaluation permet aussi de garder les décisions ancrées dans les résultats d'entreprise plutôt que dans le vernis d'une démo.
Choisissez la plateforme qui reste efficace quand l'usage devient réel
Les plateformes qui passent le mieux à l'échelle récupèrent un meilleur contexte, le gèrent avec soin, routent le travail efficacement et maintiennent l'efficacité de l'exécution multi-étapes à mesure que l'usage se développe. Du point de vue d'une plateforme, un accès puissant aux modèles est un prérequis, pas le facteur de différenciation.
L'efficacité des tokens est en définitive une question d'architecture d'IA d'entreprise. Les acheteurs qui mettent à l'épreuve la récupération, la gestion du contexte, le routage, l'orchestration et la gouvernance en amont tendent à choisir des systèmes qui tiennent la route une fois en production.
Glean fonctionne déjà à l'échelle de l'entreprise : Booking.com l'a adopté à l'échelle de toute l'entreprise, pour environ 14 000 employés, et Zillow l'utilise pour relier les personnes, les projets et les connaissances dans toute l'organisation. Glean part d'un contexte d'entreprise fiable et respectueux des permissions, et applique cette rigueur tout au long de la récupération, du raisonnement et de l'exécution, de sorte que la qualité des réponses et l'efficacité s'améliorent ensemble au lieu de s'opposer.
Découvrez comment Glean améliore la qualité des réponses et l'efficacité des tokens grâce à une meilleure récupération et à un routage intelligent — explorer la plateforme.
Questions fréquentes
En quoi l'efficacité des tokens diffère-t-elle du simple fait de réduire les coûts de l'IA ?
L'efficacité des tokens concerne la quantité de travail utile et fiable que vous obtenez par token, et pas simplement le fait de dépenser moins. Une plateforme peut réduire sa facture en plafonnant l'usage ou en routant chaque tâche vers un modèle bon marché, puis restituer ces économies sous forme de réponses plus faibles, de davantage de nouvelles tentatives et de plus de révisions. La véritable efficacité améliore en même temps le coût, la latence et la qualité des réponses.
Un nombre élevé de connecteurs signifie-t-il qu'une plateforme est efficace en tokens ?
Non. Le nombre de connecteurs indique combien de systèmes une plateforme peut atteindre, pas avec quelle précision elle y sélectionne les informations. L'efficacité des tokens dépend de la capacité à extraire les quelques passages dont une tâche a besoin, avec classement, permissions et déduplication. Considérez une large connectivité comme la norme, puis examinez comment la plateforme restreint le contexte.
Des fenêtres de contexte plus grandes rendent-elles une plateforme d'IA plus efficace ?
Pas à elles seules. Des fenêtres plus grandes ajoutent de la capacité, mais la capacité n'est pas l'efficacité : une fenêtre plus large ne corrige pas une récupération faible ou une mauvaise sélection du contexte. Si la plateforme continue de la remplir de contenu à faible valeur, le modèle doit toujours tout parcourir pour atteindre les quelques passages qui comptent, ce qui fait grimper le coût et la latence et peut réduire la qualité des réponses. Une grande fenêtre n'aide que lorsque la plateforme fait déjà preuve de rigueur sur ce qu'elle y intègre.
La gestion du contexte a-t-elle un impact sur la sécurité des données et les permissions ?
Oui. La couche de contexte qui décide de ce qui parvient au modèle détermine aussi qui est autorisé à voir quoi. Une plateforme qui sélectionne bien le contexte applique les permissions des utilisateurs avant que les données n'atteignent le modèle, de sorte qu'une réponse ne s'appuie jamais sur des sources auxquelles le demandeur n'est pas autorisé à accéder. Une gestion du contexte faible augmente conjointement les risques en matière d'efficacité et d'exposition.
À qui devrait revenir l'évaluation de l'efficacité des tokens — l'IT, l'équipe de la plateforme d'IA ou les achats ?
En général, c'est l'équipe de la plateforme d'IA ou de l'architecture qui pilote, avec l'implication de l'IT et des achats. L'équipe de la plateforme teste la récupération, le routage et l'orchestration dans des workflows réalistes ; l'IT évalue la sécurité, les permissions et la gouvernance ; les achats cadrent la décision autour du coût par résultat plutôt que du prix affiché du modèle. L'efficacité des tokens traverse ces trois dimensions, de sorte que les évaluations menées par un seul responsable tendent à manquer soit le volet technique, soit le volet coûts.
