Indicateurs clés pour évaluer l’efficacité des tokens dans les systèmes d’IA

Les indicateurs d’efficacité des tokens mesurent la capacité d’un système d’IA à convertir la consommation de tokens en travail réellement accompli. C’est le moyen le plus rapide de mettre au jour les coûts cachés dans les déploiements d’agents, de copilotes et d’assistants.

La plupart des organisations suivent les tokens comme les premiers adopteurs du cloud suivaient les heures de calcul : de façon agrégée, sans relier la consommation aux résultats. L’analyse de l’usage des tokens change la donne en reliant chaque token d’entrée et de sortie à la tâche qu’il a servie, au modèle qui l’a traité et au résultat produit.

Cet article détaille les métriques les plus importantes, en commençant par le coût par tâche résolue, puis en abordant la comptabilisation normalisée des tokens, le suivi par workflow et l’analyse pondérée par la sortie. L’objectif est de vous aider à évaluer les performances des agents IA à l’aune de la valeur business réelle plutôt que de la consommation brute.

Coût par tâche résolue : relier les tokens aux résultats

Le coût par tâche résolue correspond à la dépense totale en tokens (entrée plus sortie, pondérée selon la tarification du modèle) nécessaire pour terminer une unité de travail. Cette unité peut être un ticket support évité, une question correctement résolue ou un document rédigé puis approuvé.

Cette métrique compte, car une tâche d’agent ne se résume que rarement à un seul appel de LLM. Elle peut enchaîner plusieurs invocations de modèle, appels d’outils et étapes de retrieval avant que le travail ne soit terminé. Suivre le coût par requête masque la dépense réelle de cette trajectoire complète.

Pour comparer équitablement la dépense en tokens entre différents niveaux de modèle, l’équipe d’ingénierie de GitHub a introduit la formule Effective Tokens (ET) : ET = multiplicateur de modèle x (1.0 x nouveaux tokens d’entrée + 0.1 x tokens de lecture du cache + 4.0 x tokens de sortie). Le multiplicateur de modèle normalise les différences de prix entre un modèle léger et un modèle de pointe ; ainsi, changer de modèle en cours de workflow ne fausse pas la comparaison.

Les tokens de sortie ont le poids le plus élevé dans la formule, car ils coûtent quatre à six fois plus que les tokens d’entrée chez tous les principaux fournisseurs. Une analyse de 2026 sur la tarification des tokens a montré que le ratio médian du prix sortie/entrée est d’environ 4×, certains modèles premium orientés raisonnement atteignant 8×. Les tokens de lecture du cache reçoivent un coefficient de 0,1, car une entrée mise en cache est environ 90 % moins chère qu’une entrée non mise en cache.

Le cadre produit des résultats concrets. GitHub a indiqué des réductions d’ET comprises entre 19 % et 62 % sur des workflows en production après l’avoir appliqué. Leur workflow Auto-Triage Issues a atteint une réduction d’ET de 62 % sur 109 exécutions, une économie qui se cumule à chaque lancement. La fréquence d’exécution compte autant que l’efficacité par exécution : un workflow exécuté 500 fois par jour avec une réduction modeste de 10 % de l’ET économise plus qu’un workflow exécuté deux fois par semaine avec une réduction de 50 %.

Une réduction de 10 % de l’ET se traduit directement par une réduction de 10 % des coûts, quel que soit le modèle en cours d’exécution. Plutôt que de négocier des nombres de licences ou de changer de fournisseur, les équipes peuvent optimiser les workflows eux-mêmes.

Suivez le coût par tâche résolue par workflow et par agent, pas uniquement de manière agrégée. La visibilité par workflow révèle quelles automatisations méritent leur dépense en tokens et lesquelles drainent silencieusement le budget. Le tableau de bord d’analyse d’usage de Glean aide les équipes à suivre les dépenses IA au niveau du workflow, en mettant en évidence des ventilations de coûts par agent plutôt que des totaux de consommation globaux à l’échelle de l’organisation. Ce niveau de granularité fournit aux décideurs les données nécessaires pour déterminer quels processus pilotés par des agents génèrent un ROI mesurable et lesquels nécessitent des ajustements.

Taux de hit du cache : le multiplicateur d’efficacité que la plupart des équipes ignorent

Le taux de hit du cache mesure le pourcentage de tokens d’entrée servis depuis l’état de cache du modèle plutôt que recalculés à neuf. Deux couches de mise en cache comptent. Le prompt caching réutilise un préfixe stable entre les requêtes pour une fraction du coût normal en tokens, tandis que le response caching évite complètement l’appel au modèle lorsqu’une requête correspond à une requête précédente. Comprendre l’impact des KV caches sur le time to first token est essentiel pour régler efficacement ces deux couches.

La différence de coût est nette : une étude de recherche de 2026 évaluant le prompt caching chez OpenAI, Anthropic et Google sur plus de 500 sessions d’agents a montré que la mise en cache réduit les coûts d’API de 41 à 80 % et améliore le time to first token de 13 à 31 %. Le semantic caching, qui fait correspondre des requêtes similaires mais non identiques, réduit les coûts d’API jusqu’à 73 % dans les cas d’usage à forte répétition.

Ce qui casse la mise en cache est souvent invisible. De longues pauses entre les requêtes font expirer l’état mis en cache, et des préfixes instables obligent le modèle à retraiter l’entrée complète dès que les prompts système ou les définitions d’outils changent d’un appel à l’autre.

Suivez le taux de hit du cache segmenté par le temps entre les requêtes pour repérer ces schémas avant qu’ils n’érodent les économies. Les stratégies que Glean présente dans son guide d’optimisation de l’efficacité des tokens donnent aux équipes un cadre pratique pour structurer des préfixes stables et maximiser la réutilisation du cache sur l’ensemble des workflows agentiques.

Précision et surcharge des appels d’outils : mesurer ce à quoi les agents ont recours

La précision des appels d’outils correspond au ratio d’invocations d’outils correctes sur le total des invocations d’outils dans un workflow d’agent. Chaque appel d’outil consomme des tokens à trois endroits : le schéma JSON qui décrit l’outil, le bloc d’arguments que le modèle génère et la réponse renvoyée par l’outil. Un mauvais appel gaspille des tokens à ces trois étapes et injecte un contexte non pertinent dans la fenêtre de conversation.

Le coût caché, c’est aussi le catalogue d’outils lui-même. Un système avec 40 définitions d’outils enregistrées ajoute 10 à 15 KB de schéma à chaque tour, même lorsque l’agent n’utilise que deux de ces outils. Une approche structurée pour évaluer des agents IA peut aider les équipes à suivre trois signaux pour quantifier ce gaspillage : outils enregistrés versus outils effectivement invoqués par workflow, tokens consommés par les schémas d’outils en pourcentage de l’entrée totale, et ratio succès/échec par outil.

Le chargement d’outils à la demande s’attaque directement à l’encombrement du catalogue en ne chargeant que les outils pertinents pour l’étape en cours. Lors d’expériences en production, le chargement à la demande a réduit l’utilisation de tokens par tour de 8 à 11% sur les modèles OpenAI et Anthropic, tout en diminuant les taux d’erreur des utilisateurs de 4%. Glean explique comment identifier et réduire la surcharge de tokens cachée due aux définitions d’outils inutilisées, notamment des stratégies pour auditer quels outils contribuent aux résultats et lesquels ne font que consommer de l’espace de contexte.

Efficacité de trajectoire et d’étapes : combien de tours pour terminer

L’efficacité de trajectoire mesure le nombre total d’appels LLM, d’invocations d’outils et d’étapes intermédiaires qu’un agent effectue pour accomplir une tâche, comparé au chemin minimal viable. Chaque étape supplémentaire augmente les coûts, car la fenêtre de contexte s’allonge à chaque tour. Le modèle relit l’intégralité de l’historique de conversation, et chaque nouvelle réponse d’outil s’ajoute à la charge utile.

Le seul nombre d’étapes ne raconte pas toute l’histoire. Cinq étapes qui font chacune progresser la tâche de manière significative coûtent moins cher que trois étapes dont deux sont des tentatives répétées ou des récupérations de données redondantes. Le défi s’intensifie à mesure que les charges de travail agentiques passent à l’échelle : Gartner note que les modèles agentiques peuvent nécessiter 5 à 30 fois plus de tokens par tâche qu’un chatbot standard, ce qui rend l’efficacité des étapes essentielle pour maîtriser les coûts, même si les prix unitaires des tokens baissent.

Les équipes en production qui ont sorti les lectures déterministes (récupération du contenu de fichiers, interrogation de bases de données) de la boucle de raisonnement pour les placer en prétraitement ont constaté des réductions de 43 à 62% de la consommation de tokens pour ces workflows. Suivez le nombre moyen d’étapes par tâche en parallèle des tokens par étape pour distinguer les workflows réellement complexes de ceux dont la structure est inefficace. Glean Agents traite l’encombrement de trajectoire via l’Agentic Engine, qui gère la planification et l’orchestration multi-étapes, ancrées dans le contexte de l’entreprise via l’Enterprise Graph, réduisant ainsi le nombre d’étapes nécessaires pour parvenir à un résultat correct.

Ratio sortie/entrée : détecter les réponses verbeuses et le contexte surchargé

Le ratio sortie/entrée divise les tokens de sortie par les tokens d’entrée pour une requête ou un workflow donné. Des ratios sains varient selon le type de tâche : une tâche de classification devrait produire un ratio faible, le résumé se situe dans une plage intermédiaire, et la génération de contenu est naturellement plus élevée.

Deux modes de défaillance font dériver le ratio dans la mauvaise direction. Une entrée surchargée survient lorsque les pipelines de retrieval envoient des documents entiers au modèle alors qu’un résumé ciblé suffirait. Une sortie verbeuse survient lorsque le modèle génère des explications formatées ou des réponses en plusieurs paragraphes alors que le système en aval ne lit qu’un seul champ.

Définissez des limites explicites de tokens maximum à chaque étape IA de votre pipeline et auditez mensuellement les prompts système pour éviter la dérive de périmètre. Un prompt système passé de 500 tokens à 2 000 en six mois d’ajouts incrémentaux multiplie silencieusement les coûts sur chaque requête.

Suivez l’évolution du ratio sortie/entrée dans le temps pour chaque workflow. Une hausse du ratio sans changement correspondant de la complexité de la tâche indique une dérive des prompts ou une dégradation du retrieval. Le pipeline de retrieval-augmented generation de Glean traite le volet entrée : l’Enterprise Graph ne récupère que le contexte pertinent et tenant compte des permissions, plutôt que de déverser des documents entiers dans la fenêtre de contexte du modèle.

Latence par token : relier la vitesse à l’efficacité

La latence par token divise le temps total de réalisation par le nombre de tokens générés dans une réponse. La latence brute indique combien de temps un utilisateur a attendu. La latence par token indique à quel point le système a produit efficacement chaque unité de sortie, ce qui permet de comparer des requêtes ayant pris le même temps « wall-clock » mais ayant généré des volumes de tokens très différents.

Plusieurs facteurs influencent cet indicateur : taille du modèle, protocole de transport, état du cache et longueur de la fenêtre de contexte. Les recherches sur la façon dont le nombre de tokens en entrée impacte la latence montrent que la taille du contexte est l’une des variables les plus déterminantes. IDC 2026 a constaté que la mise en cache des prompts à elle seule a réduit la latence LLM jusqu’à 34% dans des scénarios à fort volume. Le protocole de transport est souvent négligé, mais il a aussi un impact mesurable : en production, les connexions WebSocket ont réduit le temps jusqu’au premier token de 12 à 19% par rapport aux requêtes HTTP standard en éliminant la surcharge de connexion par requête.

Suivez la latence par token en la segmentant par type d’agent, car un copilot intégré à un IDE n’a pas les mêmes seuils acceptables qu’un agent de fond traitant des tickets pendant la nuit. Une augmentation soudaine sans changement de modèle pointe vers un contexte surchargé, des ratés de cache ou une nouvelle surcharge liée à des outils enregistrés. Glean Assistant fournit des réponses citées en moins d’une seconde en ancrant les réponses dans l’Enterprise Graph et le Personal Graph, en gardant la fenêtre de contexte compacte afin que le modèle passe du temps à générer une sortie utile plutôt qu’à traiter une entrée non pertinente.

Comment construire un dashboard d’efficacité des tokens qui guide les décisions

Commencez par cinq métriques clés : coût par tâche résolue (normalisé via une formule d’effective-token), taux de hit du cache, précision des appels d’outils, nombre moyen d’étapes par tâche et ratio sortie/entrée. Ensemble, elles couvrent l’intégralité du cycle de vie d’une interaction IA, de la mise en cache à l’exécution, jusqu’au coût de sortie.

La granularité détermine si le dashboard produit des signaux actionnables ou du bruit. Ventilez chaque métrique par workflow, par agent et par modèle. Définissez des seuils d’alerte déclenchant une investigation : taux de hit du cache passant sous 85%, coût par tâche dépassant deux fois la moyenne glissante des 30 derniers jours, taux d’échec des appels d’outils au-dessus de 10%, ou ratio sortie/entrée dérivant de plus de 20% par rapport à la référence.

Exécutez des audits quotidiens automatisés sur la base de ces seuils. Le même schéma d’audit qui a produit des réductions de tokens de 19 à 62% dans des workflows en production fonctionne parce qu’il détecte la dérive avant qu’elle ne s’amplifie.

L’objectif n’est pas de minimiser les tokens, mais de vérifier que chaque token contribue à un résultat correct. Les analytics de Glean mettent en évidence des métriques par workflow et par agent, donnant aux équipes IT et data la visibilité nécessaire pour comparer les dépenses IA aux taux d’achèvement des tâches plutôt que de gérer les coûts à l’aveugle.

L’efficacité des tokens ne consiste pas à dépenser moins pour l’IA. Il s’agit de savoir exactement où vont vos tokens et s’ils produisent des résultats qui valent le coût. Lorsque vous suivez les bons indicateurs avec le bon niveau de granularité, chaque décision d’optimisation devient pilotée par la donnée plutôt que réactive. Demander une démo pour découvrir comment Glean et l’IA peuvent transformer votre environnement de travail.