Routage de tokens : pourquoi il réduit les dépenses IA plus sûrement que des modèles moins chers

Le routage de tokens — la pratique qui consiste à orienter différentes tâches vers différents modèles selon leur complexité et la profondeur de raisonnement requise — réduit la consommation de tokens (le total d’unités de texte que les modèles d’IA traitent et facturent) plus fiablement que la seule baisse des prix par token. La raison est simple : le routage contrôle la quantité de calcul réellement utilisée par chaque tâche, tandis que des prix plus bas ne font que réduire le coût unitaire du calcul que vous consommez déjà.

La plupart des équipes suivent le coût par token comme principal indicateur de dépense IA. Mais d’après l’analyse interne de Glean sur les déploiements d’agents en entreprise (2025), les agents IA peuvent consommer des centaines à des milliers de fois plus de tokens par tâche que des interactions de chat en un seul tour.

Quand les volumes augmentent à ce rythme, même de fortes baisses de prix par token laissent votre facture totale continuer de grimper. L’indicateur qui compte est le coût par résultat : ce que vous dépensez pour obtenir un résultat utile, pas ce que vous dépensez par unité de calcul brut.

Le routage de tokens traite la gestion des coûts IA comme une décision d’architecture. Au lieu de négocier des tarifs ou d’envoyer par défaut chaque requête vers un seul modèle, le routage attribue chaque tâche au modèle le plus adapté : un modèle léger pour des recherches simples, un modèle plus performant pour le raisonnement en plusieurs étapes. Le reste de cet article explique comment cela fonctionne en pratique et où les équipes constatent le plus grand impact.

Ce que signifie réellement le routage de tokens (et en quoi c’est différent de choisir un modèle moins cher)

Le routage de tokens consiste à orienter différentes parties d’un workflow, ou différentes tâches au sein de l’exécution d’un agent, vers différents grands modèles de langage (LLMs) en fonction de trois facteurs : la complexité de la tâche, la sensibilité des données et la profondeur de raisonnement requise. Une extraction d’entités simple peut être confiée à un petit modèle rapide — un exemple concret de choisir le bon modèle pour chaque tâche. Une question de politique plus nuancée, qui exige de synthétiser des informations issues de plusieurs documents, est routée vers un modèle plus grand doté de meilleures capacités de raisonnement.

Le routage attribue chaque tâche au bon modèle de manière dynamique, parfois avec des dizaines d’attributions différentes au sein d’une seule exécution d’agent, plutôt que d’envoyer toutes les tâches vers un seul modèle. Une étude empirique portant sur plus de 100 000 milliards de tokens menée par OpenRouter a révélé que les modèles optimisés pour le raisonnement représentent désormais plus de la moitié de tous les tokens routés, ce qui souligne à quelle vitesse l’inférence agentique a remodelé les schémas de consommation.

D’après le benchmarking interne de Glean sur des workflows d’entreprise (2025), des tâches identiques sur un même modèle peuvent produire des volumes de tokens qui varient d’un ordre de grandeur ou plus, selon la structure du prompt, la longueur du contexte et le format de sortie. Le routage vous donne un mécanisme pour faire correspondre la capacité du modèle à la demande de la tâche, ce qui réduit cette variabilité au lieu de la subir.

Les prix par token ont fortement baissé chez les principaux fournisseurs de modèles — les coûts d’entrée ont diminué d’environ 85% depuis le lancement de GPT-4 — et pourtant, les dépenses IA des entreprises continuent d’augmenter. Cet écart s’explique par le fait que les charges de travail agentiques génèrent des ordres de grandeur de tokens bien supérieurs à ceux d’un échange de chat en un seul tour. Un agent IA planifie, récupère des informations, raisonne par étapes et agit, chacune de ces actions nécessitant son propre appel d’inférence.

Prenez l’exemple d’un agent support qui résout un ticket client — un schéma courant parmi les agents IA en entreprise. Cet agent peut exécuter 15 à 20 appels au modèle en séquence : récupérer l’historique du compte, classifier le problème, rédiger une réponse, vérifier la conformité aux politiques et résumer la résolution. Chaque appel consomme des tokens. Sans routage, chacun de ces appels sollicite le même modèle à haute capacité, que la tâche exige un raisonnement approfondi ou non.

Avec le routage, l’étape de classification s’exécute sur un modèle rapide et peu coûteux, tandis que la vérification de conformité aux politiques — qui doit analyser un langage nuancé à travers plusieurs documents — s’exécute sur un modèle conçu pour ce type de travail. Glean Search utilise cette approche pour fournir des réponses tenant compte des autorisations et accompagnées de citations, en routant les tâches de récupération simples vers des modèles légers et en réservant le raisonnement approfondi aux requêtes complexes couvrant plusieurs sources de données d’entreprise.

Pourquoi des modèles moins chers ne suffisent pas à résoudre le problème de coût

Chaque nouveau modèle de pointe arrive avec un prix premium, et chaque équipe en entreprise se tourne vers lui. Selon le rapport 2025 de Menlo Ventures sur l’IA en entreprise, la couche applicative à elle seule représente désormais un marché de 19 milliards de dollars, l’IA horizontale étant le segment à la croissance la plus rapide. Le schéma se répète tous les quelques mois : un modèle plus performant apparaît, les équipes l’adoptent pour tout, du résumé à la recherche en plusieurs étapes, et les dépenses totales augmentent même si les anciens modèles baissent en prix. Les baisses de prix des modèles de génération précédente n’aident pas quand votre trafic en production s’est déjà déplacé vers le plus récent.

Le problème plus profond est la ré-ingestion du contexte — une partie de ce que certains appellent le coût caché de l’IA. Les workflows agentiques ne font pas un seul appel puis s’arrêtent. À chaque étape, la sortie est réinjectée dans l’appel suivant, ce qui signifie que le modèle relit l’intégralité du contexte accumulé à chaque phase.

Un agent achats qui extrait des contrats fournisseurs, compare des conditions et rédige une recommandation peut exécuter de huit à 12 appels au modèle en séquence. Lors du dernier appel, la charge utile d’entrée inclut tout ce qui a été généré aux étapes précédentes, dupliquant des tokens que le modèle a déjà traités.

La logique de reprise (retry) aggrave encore le problème. Lorsque la sortie d’un agent ne satisfait pas un seuil de confiance ou échoue à une étape de validation, toute la séquence est souvent relancée avec le contexte accumulé, plus la tentative échouée. Un seul retry peut doubler l’empreinte en tokens d’un workflow déjà coûteux dès son premier passage.

La budgétisation forfaitaire aggrave le problème. Comme l’analyse de Deloitte sur l’économie des tokens IA

soutient que les modèles traditionnels de TCO ont besoin d’une refonte en profondeur, car les coûts basés sur les tokens sont intrinsèquement imprévisibles. Les équipes qui allouent un budget mensuel fixe pour l’inférence IA le définissent souvent à partir des premiers schémas d’usage : requêtes à un seul tour, synthèse légère, récupération ciblée.

Lorsque ces mêmes équipes déploient des agents en plusieurs étapes, la consommation de tokens peut augmenter de façon spectaculaire en quelques semaines, selon l’analyse interne de Glean sur les déploiements de workflows agentiques (2025). Le budget n’avait pas pris en compte les workflows agentiques qui réingèrent l’intégralité du contexte à chaque étape et réessaient à plusieurs reprises en cas de sorties ambiguës.

Glean's Agentic Engine, la couche de planification et d’orchestration multi-étapes de la plateforme Glean, traite directement le problème d’accumulation du contexte en maintenant l’état entre les étapes d’un workflow, afin que les appels en aval reçoivent des résultats intermédiaires structurés au lieu de retraiter le contexte brut accumulé.

Comment le routage multi-modèles réduit la consommation totale de tokens

Le routage multi-modèles attribue chaque tâche d’un workflow au modèle le plus rentable capable de la traiter au niveau de qualité requis. La classification et l’extraction d’entités, des tâches avec des sorties clairement justes ou fausses, s’exécutent sur des modèles petits et rapides qui consomment une fraction des tokens qu’un modèle frontier utiliserait.

Les tâches de planification et de synthèse qui exigent un raisonnement nuancé à travers plusieurs documents sont envoyées vers des modèles plus capables. La décision de routage intervient avant l’appel, pas après.

La sensibilité des sorties ajoute une deuxième dimension de routage. Des résultats intermédiaires comme les scores de confiance, les classements de documents et les plans d’ébauche tolèrent des modèles moins coûteux, car un humain ou une étape en aval les affinera.

Les sorties destinées aux clients, les synthèses de conformité et les analyses au niveau du conseil d’administration nécessitent la précision apportée par un modèle à plus forte capacité. Router ces deux catégories vers le même modèle gaspille des dépenses sur des sorties internes que personne en dehors du système ne lira jamais.

Le routage en fonction de la longueur de contexte est moins évident, mais tout aussi déterminant. Au lieu de transmettre directement un document de 30 000 tokens à un modèle frontier pour analyse, un modèle plus petit — souvent associé à la retrieval-augmented generation — peut d’abord le résumer ou extraire les passages pertinents.

Le modèle frontier reçoit ensuite une entrée compressée et produit une réponse de meilleure qualité, car son attention n’est pas diluée par du contenu non pertinent. Glean Agents implémente ce schéma « compresser puis analyser » — une forme de agentic RAG — via l’Agentic Engine, qui pré-compresse le contexte récupéré avant de le transmettre aux étapes de raisonnement. Glean décrit le cadre plus large comme the token economy.

Le schéma en cascade relie ces dimensions entre elles. Chaque tâche commence au niveau de modèle le plus bas viable. Si le score de confiance du modèle passe sous un seuil défini, la tâche est escaladée au niveau suivant. Des recherches de UC Berkeley, Anyscale et Canva publiées à ICLR 2025 ont montré que des routeurs entraînés utilisant ce schéma peuvent obtenir une réduction des coûts de 85 % tout en conservant 95 % des performances de niveau GPT-4. Une cascade bien réglée route la plupart des tâches vers le niveau le moins cher, en réservant les modèles frontier au sous-ensemble qui les exige réellement.

À quoi ressemble une architecture de routage pragmatique

Construire un système de routage ne nécessite pas de créer une infrastructure sur mesure à partir de zéro. L’architecture suit quatre schémas reproductibles que la plupart des équipes d’ingénierie peuvent mettre en œuvre de manière progressive.

Classer avant d’envoyer

Une couche d’orchestration se situe entre la demande de l’utilisateur et la flotte de modèles. Avant tout appel d’inférence, l’orchestrateur évalue la complexité de raisonnement de la tâche. S’agit-il d’une simple recherche, d’une extraction structurée ou d’une analyse en plusieurs étapes ? Cette étape de classification utilise elle-même un petit modèle et coûte quelques centaines de tokens. Ce faible investissement initial évite des milliers de tokens gaspillés en aval en empêchant les tâches simples d’aller sur des modèles coûteux.

Définir des budgets de tokens par tâche, pas par modèle

La plupart des équipes suivent les dépenses par modèle : combien est allé au modèle frontier versus le modèle intermédiaire. Un contrôle plus utile est un plafond de tokens par exécution d’agent, y compris les nouvelles tentatives et la réingestion du contexte. Sans plafonds, la variance de la longue traîne crée des surprises budgétaires : une seule requête complexe qui déclenche plusieurs tentatives peut consommer bien plus de tokens que l’exécution médiane. Les budgets par tâche plafonnent cette variance avant qu’elle ne se cumule.

Mesurer le coût par résultat, pas le coût par appel

Suivez le total de tokens et le total des dépenses nécessaires pour produire un résultat correct, ventilés par étape et par niveau de modèle. Le coût par appel est trompeur, car un appel bon marché qui produit une mauvaise réponse déclenche une chaîne de nouvelles tentatives coûteuses.

D’après l’analyse interne de Glean sur les workflows d’agents (2025), la corrélation entre l’usage de tokens prédit par un modèle et sa consommation réelle est faible. Les auto-estimations des modèles ne sont pas fiables pour la budgétisation. Les données d’observabilité en production sont le seul input digne de confiance pour les décisions de routage.

La plateforme Glean instrumente chaque étape d’un workflow d’agent, afin que les équipes puissent identifier précisément où les tokens s’accumulent et quels niveaux de modèles fournissent des résultats corrects à chaque étape.

Construire une table de décision de routage

Cartographiez chaque appel à un modèle dans votre workflow selon trois variables : complexité de la tâche (faible, moyenne, élevée), sensibilité des sorties (interne versus externe) et longueur de contexte (courte, moyenne, longue). Assignez un niveau de modèle à chaque combinaison, puis validez avec des comparaisons de qualité côte à côte sur 30 à 50 entrées représentatives. Révisez cette table chaque trimestre, à mesure que les nouvelles versions de modèles font évoluer le ratio capacité/coût.

Pourquoi le routage compte davantage pour les workloads agentiques

Les systèmes agentiques sont coûteux principalement à cause des tokens d’entrée, pas des tokens de sortie. Chaque boucle dans l’exécution d’un agent relit l’historique complet de la conversation, les sorties des outils et le contexte accumulé des étapes précédentes.

Une exécution d’agent en cinq étapes où chaque étape traite 4 000 tokens de contexte ne consomme pas 20 000 tokens d’entrée. Elle en consomme plutôt près de 60 000, parce que chaque étape réingère tout ce qui la précède. Le volume brut de tokens d’entrée écrase toute économie par unité.

La consommation de tokens et la précision ne suivent pas une relation linéaire. D’après le benchmarking interne de Glean sur des déploiements en entreprise (2025), la précision tend à atteindre un pic à des niveaux de coût intermédiaires, puis à se saturer. Injecter davantage de tokens dans un problème au-delà d’un certain point n’améliore pas les résultats.

Un modèle frontier traitant une simple tâche de classification ne produit pas une meilleure réponse qu’un modèle de milieu de gamme ; il produit simplement une réponse plus coûteuse. Le routing vous donne un contrôle par action sur l’endroit où vous dépensez votre budget de raisonnement, afin que le calcul coûteux ne soit utilisé que pour les étapes où il change le résultat.

Pour les équipes qui évaluent les coûts des agents d’IA, comprendre où les tokens s’accumulent est un prérequis pour pouvoir les maîtriser. La majeure partie des dépenses se cache dans la réingestion du contexte et les boucles de retry, pas dans la génération de la réponse finale.

Glean Agents répondent à ce schéma en s’appuyant sur l’Enterprise Graph, la représentation structurée de Glean des relations entre documents, personnes et outils, afin de fournir aux agents un contexte pré-organisé plutôt que des dumps de documents bruts. Lorsqu’un agent dispose d’un contexte structuré au début d’un workflow, chaque étape suivante traite moins d’entrées redondantes, et l’empreinte totale en tokens diminue.

Comment le routing améliore la scalabilité de l’IA sans sacrifier la qualité

Lorsque le routing multi-modèles est correctement cadré, les équipes peuvent viser des réductions significatives de la dépense totale en tokens sur des workflows multi-étapes. Les résultats dépendent de la complexité du workflow et du choix des modèles, mais les économies se cumulent à chaque exécution d’agent. Ces économies viennent du fait de router les modèles frontier vers des tâches d’orchestration et de raisonnement, tandis que des modèles de milieu de gamme prennent en charge l’exécution structurée : extraction, mise en forme, classification et synthèse.

La qualité ne se dégrade pas lorsque le routing est correctement cadré. Les modèles de milieu de gamme égalent les performances des modèles frontier sur les tâches structurées où le format de sortie attendu est bien défini.

Un modèle qui extrait cinq champs d’un contrat se comporte de manière identique, qu’il s’agisse d’un modèle à 70 milliards de paramètres ou d’un modèle à 13 milliards de paramètres, tant que le schéma d’extraction est clair. Le routing exploite cette équivalence en réservant la capacité frontier aux tâches où la taille du modèle est réellement corrélée à la qualité.

La latence s’améliore en même temps que le coût. Les modèles plus petits répondent plus vite — en partie grâce à des caractéristiques plus efficaces de mise en cache KV et de débit — ce qui réduit le temps de bout en bout des workflows multi-étapes.

Une exécution d’agent en 10 étapes où sept étapes utilisent un modèle rapide de milieu de gamme et trois étapes un modèle frontier se termine en moins de temps total, car les modèles plus petits ont une latence d’inférence plus faible par appel. Pour des workflows orientés utilisateur, comme la recherche d’une réponse pendant un appel client en direct, la latence compte autant que la précision.

Le routing pérennise également votre architecture. Les capacités des modèles s’améliorent globalement tous les six à 12 mois, et une tâche qui nécessitait un modèle frontier l’an dernier peut aujourd’hui s’exécuter de manière équivalente sur un modèle de milieu de gamme.

Une couche de routing vous permet de déplacer des tâches entre niveaux sans réarchitecturer la logique de vos workflows. La plateforme de Glean gère la sélection des modèles au sein de son cadre de gouvernance et d’autorisations d’entreprise, de sorte que les équipes peuvent mettre à jour les règles de routing de manière centralisée tout en conservant les mêmes sorties citées et sensibles aux permissions sur chaque workflow.

Comment commencer à contrôler la consommation de tokens avec le routing

Commencez par mesurer ce que vous avez déjà, puis routez progressivement à mesure que vous gagnez confiance dans vos seuils de qualité.

1. Auditez chaque appel de modèle dans vos workflows actuels. Pour chaque appel, consignez le type de tâche, le nombre de tokens en entrée, le nombre de tokens en sortie, le modèle utilisé et ce que la sortie alimente en aval. La plupart des équipes découvrent que l’essentiel de leur dépense en tokens provient d’une poignée de schémas de tâches récurrents.

1. Évaluez chaque tâche selon trois dimensions. Notez chaque tâche selon la complexité du raisonnement (le modèle doit-il synthétiser plusieurs sources, ou la réponse est-elle extractible d’un seul passage ?), la sensibilité de la sortie (résultat intermédiaire interne ou sortie finale destinée au client ?), et la longueur du contexte (combien de tokens l’entrée contient-elle ?). Ces trois scores déterminent le niveau de modèle.

1. Effectuez des comparaisons de qualité côte à côte. Avant de déplacer une tâche vers un niveau de modèle moins cher, testez-la sur 30 à 50 entrées représentatives. Comparez les sorties du modèle actuel et du modèle proposé à l’aide de critères de qualité propres au domaine, pas de benchmarks génériques. Si la qualité tient, routez la tâche vers le bas.

1. Mettez en place des plafonds de tokens par exécution d’agent et par workflow. Définissez des budgets maximum de tokens en entrée et en sortie pour chaque exécution d’agent. Lorsqu’une exécution atteint son plafond, elle s’arrête ou escalade vers un humain plutôt que de continuer à consommer des tokens en retries.

1. Construisez une observabilité du coût par résultat. Journalisez le total de tokens et le coût total pour chaque workflow terminé, ventilés par étape et par niveau de modèle. La plateforme de Glean offre cette visibilité en instrumentant chaque étape d’un workflow d’agent, afin que vous puissiez identifier les étapes les plus coûteuses par rapport à leur contribution au résultat final.

1. Revoyez votre table de routing chaque trimestre. Les nouvelles versions de modèles modifient en continu le ratio capacité/coût. Une tâche qui nécessitait un modèle frontier il y a six mois peut aujourd’hui fonctionner tout aussi bien sur un modèle coûtant un cinquième du prix. Appliquez un cadre de gestion des coûts en tokens pour structurer ces revues.

Questions fréquentes

Comment le routing peut-il améliorer l’efficacité des tokens en IA ?

Le routing oriente chaque étape d’un workflow multi-modèles vers le modèle le plus rentable qui répond aux exigences de qualité de la tâche. En traitant la majorité des tâches au niveau le moins cher viable et en réservant les modèles frontier au raisonnement complexe, les équipes peuvent réduire significativement la dépense totale en tokens sans dégrader la qualité des sorties.

Quelles sont les limites du fait de s’appuyer uniquement sur des modèles moins chers ?

Les modèles moins chers n’ont pas la profondeur de raisonnement nécessaire pour la synthèse multi-étapes, l’interprétation nuancée des politiques et la classification ambiguë. Router l’ensemble vers un seul modèle budget ne réduit pas le volume. Les charges de travail agentiques génèrent toujours le même nombre d’appels, et la qualité baisse sur les tâches qui comptent le plus.

Comment l’efficacité des tokens impacte-t-elle la scalabilité de l’IA ?

Sans routing, augmenter l’échelle des charges de travail agentiques augmente les dépenses de manière linéaire. Doublez le nombre d’utilisateurs, doublez la facture de tokens. Le routing découple la croissance de l’usage de la croissance des coûts en compressant la consommation par tâche, afin que les équipes puissent étendre les workflows pilotés par l’IA sans augmentation proportionnelle du budget.

Quelles sont les tendances futures en matière de gestion des tokens en IA ?

L’industrie évolue vers une tarification basée sur le résultat, où vous payez pour des tâches terminées plutôt que pour les tokens bruts consommés. Les entreprises mettent en place des programmes de gouvernance des tokens, incluant budgets, plafonds, observabilité et revues trimestrielles, avec la même rigueur que celle appliquée aux dépenses d’infrastructure cloud.

Les modèles peuvent-ils prédire leurs propres coûts en tokens avant d’exécuter une tâche ?

Pas de manière fiable. D’après l’analyse interne de Glean sur les workflows d’agents en entreprise (2025), la corrélation entre l’utilisation de tokens prévue et réelle est faible. Les budgets de tokens et les décisions de routage doivent être construits à partir des données d’observabilité en production, et non à partir des auto-estimations du modèle.

Le routage des tokens transforme la gestion des coûts de l’IA, d’une négociation tarifaire en une discipline d’ingénierie — où vous maîtrisez les dépenses au niveau des tâches, et non au niveau du contrat. Les équipes qui réussissent cela mettent en place la base opérationnelle pour déployer l’IA sur davantage de workflows et de décisions à plus forts enjeux, avec une visibilité totale sur la destination de chaque token.

Demandez une démo pour découvrir comment Glean et l’IA peuvent transformer votre entreprise.