Comment un routage intelligent des modèles économise des tokens en IA de production

Le routage intelligent des modèles associe chaque requête d’IA au modèle de taille adaptée en fonction de sa complexité, réduisant le gaspillage de tokens sans sacrifier la qualité des réponses. Au lieu de faire passer chaque requête par un unique grand modèle de langage, une couche de routage évalue ce dont chaque demande a réellement besoin et choisit le bon modèle.

La plupart des systèmes d’IA en production utilisent par défaut un seul modèle pour toutes les tâches. Une simple recherche consomme autant de tokens qu’une chaîne de raisonnement en plusieurs étapes, ce qui signifie que les organisations paient pour du calcul dont elles n’avaient jamais besoin. Le routage des modèles casse ce schéma en traitant la sélection du modèle comme un véritable problème de classification en temps réel.

Le gain est mesurable. Les équipes qui exécutent des charges de travail IA variées, de l’extraction rapide d’entités aux requêtes analytiques approfondies, peuvent réduire significativement la consommation de tokens tout en maintenant — voire en améliorant — la qualité des réponses dans l’ensemble. Des recherches du projet R2-Router (ICML 2026) ont montré que le routage intelligent atteint des performances à l’état de l’art pour un coût 4 à 5x inférieur à celui des approches existantes, en optimisant conjointement la sélection du modèle et les budgets de longueur de sortie.

Qu’est-ce que le routage intelligent des modèles ?

Le routage intelligent des modèles est une capacité au niveau système qui se place entre les requêtes entrantes et un ensemble de modèles disponibles. Il classe chaque requête selon sa complexité, la profondeur de raisonnement requise et la longueur de contexte, puis dirige la demande vers le modèle adapté à la tâche. La décision de routage se prend en quelques millisecondes, sans que l’utilisateur final ne s’en aperçoive.

Considérez la différence entre deux requêtes arrivant sur le même système d’IA. « Quel est notre objectif de chiffre d’affaires au T3 ? » nécessite une recherche rapide et précise. « Analyse l’écart entre notre pipeline du T3 et les taux de conversion historiques, puis recommande des ajustements à notre stratégie commerciale » requiert un raisonnement en plusieurs étapes, un contexte plus long et un modèle plus performant. Une affectation statique de modèle traite les deux de façon identique, consommant des tokens sur la requête simple et, parfois, rendant un service insuffisant sur la requête complexe. Le routage intelligent dimensionne la réponse en fonction de la tâche.

La couche de routage évalue des signaux avant qu’un modèle ne traite la requête : type de requête, budget de tokens, nécessité ou non d’une recherche de contenu ou d’un raisonnement agentique, et quantité de contexte dont la réponse a besoin. Le Model Hub de Glean adopte cette approche en donnant accès à plusieurs modèles et en sélectionnant automatiquement le bon selon les exigences de la tâche. Une recherche factuelle simple est routée vers un modèle plus petit et plus rapide. Un workflow complexe se déploie via l’Agentic Engine pour une planification et une exécution en plusieurs étapes. Des recherches internes préliminaires sur le raisonnement agentique ont montré une hausse de 24% de la pertinence des réponses lorsque les requêtes étaient routées vers le parcours de raisonnement approprié plutôt que traitées de manière uniforme.

Comment un raisonnement à la bonne dimension réduit la consommation de tokens

Un raisonnement à la bonne dimension n’applique que la profondeur d’inférence réellement nécessaire à une tâche. Une recherche factuelle — « Quelle est la politique de congés payés ? » — n’a pas besoin de planification en chaîne de pensée. Une analyse stratégique, si. Lorsque chaque requête reçoit le même traitement de raisonnement, vous payez pour un calcul qui n’apporte rien à la réponse.

Les économies augmentent rapidement. Dans la plupart des environnements d’entreprise, 60% à 70% des requêtes IA quotidiennes sont routinières : vérifications de statut, recherches de politiques, résumés simples. Router ces demandes vers des modèles plus petits et plus rapides réduit la consommation de tokens sur la majorité de la charge de travail tout en gardant des modèles de raisonnement plus puissants disponibles pour les requêtes qui en ont réellement besoin. Le Model Hub de Glean classe chaque demande et l’affecte au bon niveau de modèle, de sorte que les requêtes routinières se résolvent avec moins de tokens et une latence plus faible. Selon l’analyse 2026 d’Oplexa, le routage multi-niveaux des modèles réduit les dépenses d’inférence de 60 à 80%, avec 80% du trafic routinier en entreprise détourné en toute sécurité vers des niveaux optimisés en coût.

La latence baisse en même temps que le coût. Les petits modèles renvoient des réponses plus rapidement, ce qui signifie que les employés obtiennent des réponses en moins d’une seconde pour des questions simples, au lieu d’attendre qu’un modèle lourd termine un raisonnement sur un problème pour lequel il n’avait, en réalité, pas besoin de raisonner. Les recherches sur le nombre de tokens en entrée et la réactivité des LLM confirment que réduire les tokens qu’un modèle traite améliore directement le délai avant la première réponse. Cette différence de vitesse s’additionne, sur des milliers d’interactions quotidiennes, en gains de productivité mesurables. Pour une analyse plus approfondie de la destination des tokens dans les charges de travail d’entreprise, découvrez comment les équipes abordent l’efficacité des tokens en IA d’entreprise.

Pourquoi la récupération de contexte compte plus que la taille de la fenêtre de contexte

La sur-récupération est l’un des principaux facteurs cachés de gaspillage de tokens en IA de production. Lorsqu’une couche de récupération extrait 20 documents pour répondre à une question qui n’en nécessite que deux, le modèle traite des milliers de tokens inutiles avant de générer une réponse. Augmenter les fenêtres de contexte ne résout pas ce problème — cela le masque en autorisant davantage de gaspillage par requête.

Un routage efficace des modèles dépend d’une récupération précise : n’extraire que le contenu pertinent, limité par les autorisations et filtré par les relations entre personnes, documents et équipes. L’Enterprise Graph cartographie ces relations à travers l’ensemble de l’écosystème d’outils d’une organisation — en faisant office de graphe de connaissances qui aide la couche de récupération à comprendre quels documents font autorité, lesquels sont obsolètes, et lesquels appartiennent à des projets sur lesquels l’utilisateur travaille réellement. Cette précision signifie que le modèle reçoit une fenêtre de contexte ciblée plutôt qu’une fenêtre gonflée, réduisant les tokens en entrée tout en améliorant la précision des réponses.

La récupération tenant compte des autorisations ajoute un autre niveau d’efficacité. Lorsque le système sait à quels documents un utilisateur peut accéder avant le début de la récupération, il élimine les résultats non pertinents à la source au lieu de les filtrer après un traitement coûteux en tokens. Construire la bonne structure d’autorisations est essentiel à cette approche. Glean applique les autorisations en amont du modèle de langage, ce qui empêche à la fois les fuites de données et le gaspillage de tokens sur du contenu que l’utilisateur ne peut pas voir. Les équipes qui cherchent à réduire les dépenses en tokens dans des workflows en plusieurs étapes devraient commencer par la qualité de la récupération, et non par la taille du modèle — les gains sont souvent plus importants et plus immédiats. En savoir plus sur la manière d’optimiser l’efficacité des tokens dans les systèmes agentiques.

Là où le routage intelligent a le plus d’impact sur les performances des IA en production

Le routage intelligent des modèles apporte des gains disproportionnés pour les charges de travail où la complexité des requêtes varie fortement au sein d’un même système. Quatre domaines se démarquent.

Automatisation du support client. La plupart des tickets de support suivent des schémas connus : réinitialisations de mot de passe, statut d’expédition, politiques de retour. Un modèle plus petit les traite avec une recherche basée sur un modèle et une réponse courte. Les cas escaladés — litiges de facturation couvrant plusieurs comptes, problèmes techniques nécessitant un raisonnement diagnostique — sont routés vers un modèle doté de capacités d’inférence plus avancées. L’Agentic Engine orchestre une résolution en plusieurs étapes pour ces tickets complexes, en interrogeant les bases de connaissances, en récupérant l’historique client et en rédigeant une réponse qui traite la cause racine plutôt que le seul symptôme. Les organisations qui explorent cette approche peuvent voir comment les agents IA dans le service client transforment déjà les workflows de support.

Q& ;R sur les connaissances internes. « Où se trouve la politique de congé parental ? » se résout en quelques millisecondes grâce à un modèle léger et une récupération directe. « Explique-moi nos exigences de conformité pour le traitement des données des clients de l’UE selon les nouvelles conditions contractuelles » exige de recouper des documents juridiques, des politiques régionales et le langage contractuel. Router la première requête vers un modèle axé sur le raisonnement gaspille des tokens. Router la seconde vers un modèle léger produit une réponse incomplète. Associer chacune au bon niveau permet de traiter correctement les deux.

Workflows agentiques. Les workflows en plusieurs étapes n’ont pas besoin du même modèle à chaque étape. Une étape de planification peut nécessiter un modèle de raisonnement performant, tandis que les étapes d’exécution individuelles — lancer une recherche, extraire une donnée, mettre en forme une réponse — peuvent utiliser des modèles plus petits et plus rapides. L’approche de Glean en matière de raisonnement agentique attribue différents modèles à différentes étapes au sein d’un même workflow, en optimisant la dépense de tokens à chaque phase plutôt que d’exécuter un seul grand modèle de bout en bout.

Génération de contenu à grande échelle. Les sorties standardisées comme les comptes rendus de réunion, les mises à jour de statut et les checklists d’onboarding suivent des schémas prévisibles. Le contenu stratégique — documents de positionnement concurrentiel, synthèses pour dirigeants, propositions clients — exige une génération plus nuancée. Router le travail standardisé vers des modèles efficaces libère du budget de tokens pour le contenu qui bénéficie d’un raisonnement plus approfondi. Les équipes qui exécutent divers systèmes d’IA d’entreprise dans ces catégories constatent le ROI le plus net du routage, car la distribution de complexité est suffisamment large pour en tirer parti.

Ce qui distingue un routage efficace d’un simple basculement de modèle

Le simple basculement de modèle utilise des règles statiques : si la requête fait moins de 50 tokens, l’envoyer au petit modèle  si elle mentionne « analyser », l’envoyer au grand modèle. Ces heuristiques se dégradent vite. Une requête courte peut exiger un raisonnement approfondi (« Quelle est notre exposition si la Fed relève ses taux de 50 points de base ? »), et une requête longue peut n’être qu’une simple recherche par copier-coller.

Un routage efficace évalue des signaux contextuels au-delà des heuristiques de surface. Le type de requête, la profondeur de raisonnement requise, le besoin de récupération ou de planification agentique, ainsi que le rôle de l’utilisateur et son activité récente entrent tous en compte dans la décision de routage. L’Enterprise Graph et le Personal Graph fournissent ces signaux en cartographiant les relations entre documents, personnes, équipes et schémas d’activité. Une requête d’un analyste financier sur l’exposition aux taux est routée différemment des mêmes mots émis par quelqu’un qui cherche une note de réunion — parce que le système comprend l’intention derrière la demande, pas seulement sa syntaxe.

La prise en compte des permissions est une autre ligne de démarcation. Un routage efficace doit respecter les contrôles d’accès aux données avant de sélectionner un modèle et un chemin de récupération. Si une requête touche des données restreintes, la couche de routage doit le savoir avant de décider quel modèle et quels documents impliquer. Les systèmes qui évaluent les permissions après la sélection du modèle risquent de consommer des tokens sur du contenu que l’utilisateur ne peut pas voir, en gaspillant du calcul et en créant des failles de sécurité. Glean applique les permissions au niveau de la récupération, en amont de tout modèle, de sorte que les décisions de routage sont « permission-aware » dès le départ. Au fil du temps, un routage efficace s’adapte également. Les schémas d’usage révèlent quels types de requêtes nécessitent systématiquement plus de profondeur de raisonnement et lesquels se résolvent de manière fiable avec des modèles plus légers, ce qui permet à la couche de routage d’affiner ses classifications sans mises à jour manuelles des règles.

Comment mesurer l’efficacité des tokens sans sacrifier la qualité des réponses

Le suivi de l’efficacité des tokens exige des métriques qui capturent à la fois le coût et la qualité, conjointement. Un système qui réduit les tokens de 40 % mais dégrade la précision des réponses de 15 % n’a rien économisé — il a seulement déplacé le coût vers la reprise, les requêtes de suivi et la perte de confiance. L’objectif est une courbe des coûts en baisse, parallèlement à une courbe de qualité stable ou en amélioration.

L’essentiel consiste à segmenter ces métriques par niveau de complexité plutôt que de faire une moyenne sur l’ensemble des requêtes. Les chiffres agrégés masquent les problèmes. Si votre nombre moyen de tokens par requête baisse mais que la précision sur les requêtes complexes baisse aussi, la couche de routage pourrait sous-traiter les questions difficiles pour économiser des tokens sur les plus faciles. Ventilez les données en niveaux — recherches simples, raisonnement modéré, multi-étapes complexe — et suivez chacun indépendamment.

Glean met en évidence les analyses d’usage via son tableau de bord d’administration, offrant aux équipes une visibilité sur la répartition des requêtes entre les niveaux de modèles et sur les postes où la dépense en tokens se concentre. Cette vue segmentée vous permet d’identifier si les décisions de routage s’améliorent au fil du temps ou si certaines catégories de requêtes nécessitent un recalibrage. Le schéma que vous voulez observer : des requêtes courantes moins chères et plus rapides, tandis que les requêtes complexes maintiennent ou améliorent leurs scores de précision.

Comment évaluer les capacités de routage d’une plateforme d’IA

Commencez par la question la plus fondamentale : la plateforme classe-t-elle les requêtes avant de les router, ou applique-t-elle par défaut un modèle unique à tout ? Une plateforme qui envoie toutes les demandes vers un seul modèle — quelle que soit leur complexité — n’offre aucun routage. Recherchez une architecture multi-modèles, où différents modèles prennent en charge différents niveaux de travail, avec une classification automatique qui décide à quel niveau appartient chaque requête.

Évaluez la couche de récupération indépendamment de la couche modèle. Le routage n’est bon qu’à la hauteur du contexte qu’il fournit. Si la plateforme récupère 30 documents pour une requête qui n’en nécessite que trois, même le meilleur modèle gaspille des tokens à traiter du contenu non pertinent. Demandez comment la plateforme délimite la récupération : comprend-elle les relations entre documents, la récence, l’autorité et le contexte utilisateur ? L’Enterprise Graph de Glean cartographie ces relations pour fournir une récupération ciblée, ce qui signifie que les modèles reçoivent moins d’entrées, mais de meilleure qualité. Comprendre comment fonctionne la retrieval-augmented generation est essentiel pour évaluer si la couche de récupération d’une plateforme réduit réellement le gaspillage de tokens ou si elle ne fait que le masquer avec des fenêtres de contexte plus larges.

La sécurité n’est pas négociable. Vérifiez que le routage respecte de bout en bout les modèles d’autorisations de l’entreprise. La couche de routage, la couche de récupération et la couche modèle doivent toutes appliquer les contrôles d’accès de manière cohérente. Si les autorisations ne sont vérifiées qu’au stade de la réponse finale, le système a déjà traité en amont du contenu restreint — en consommant des tokens et en créant un risque. Testez avec de vraies charges de travail de production, pas avec des benchmarks synthétiques. Les performances de routage varient fortement entre des démos contrôlées et la distribution réelle des requêtes en entreprise, où vous verrez des cas limites, des requêtes ambiguës et des schémas de complexité que les benchmarks ne capturent pas.

Questions fréquentes

Qu’est-ce que le routage intelligent des modèles et comment fonctionne-t-il ?

Le routage intelligent des modèles classe chaque requête d’IA selon sa complexité et l’oriente vers le modèle le plus adapté parmi un ensemble d’options disponibles. La décision de routage évalue en quelques millisecondes le type de requête, la profondeur de raisonnement requise et les besoins en contexte, afin que les recherches simples soient traitées par des modèles rapides et efficaces, tandis que les tâches analytiques complexes soient confiées à des modèles plus performants.

En quoi le raisonnement ajusté à la taille diffère-t-il des méthodes de raisonnement traditionnelles ?

Les approches traditionnelles appliquent la même profondeur de raisonnement à chaque requête, quelle que soit sa complexité. Le raisonnement ajusté à la taille fait correspondre l’effort d’inférence aux exigences de la tâche — une recherche de politique obtient une récupération directe, tandis qu’une analyse multi-étapes bénéficie d’une planification complète de type chain-of-thought. Le résultat : une consommation de tokens plus faible sur les travaux courants, sans sacrifier la qualité sur les problèmes difficiles.

Quel impact ces stratégies ont-elles sur les performances globales de l’IA ?

Les équipes qui mettent en place un routage intelligent constatent des coûts en tokens plus faibles, des temps de réponse plus rapides pour les requêtes courantes, et une précision maintenue ou améliorée sur les tâches complexes. Gartner prévoit que les coûts d’inférence des LLM chuteront de plus de 90 % d’ici 2030, mais les modèles agentiques nécessitent déjà 5 à 30× plus de tokens par tâche que les chatbots standard — ce qui rend le routage intelligent indispensable pour contenir la dépense totale. L’effet combiné est un déploiement d’IA plus scalable, où l’augmentation du volume de requêtes n’entraîne pas une hausse proportionnelle des coûts de calcul, car la majorité des nouvelles requêtes sont routées vers des modèles efficaces.

Le routage intelligent des modèles transforme la gestion des tokens d’un problème de passage à l’échelle en un avantage de passage à l’échelle — en adaptant la puissance de calcul à la complexité de chaque requête exécutée par votre organisation. La bonne plateforme gère automatiquement le routage, la récupération et la sélection du modèle, afin que vos équipes se concentrent sur le travail plutôt que sur l’infrastructure. Request a demo pour découvrir comment Glean et l’IA peuvent transformer votre environnement de travail.