Chez Glean, nous pensons depuis longtemps que privilégier l’intelligence de manière isolée, sans tenir compte du coût, est une mauvaise approche. Alors que le paysage des modèles évolue en permanence, courir après l’intelligence de pointe uniquement est une démarche coûteuse. À la place, comprendre les compromis que différents modèles opèrent entre coût et performance — et utiliser cette compréhension pour mettre la bonne intelligence sur le bon type de travail — est bien plus important.
Nous avons mené deux analyses qui fonctionnent de concert pour le démontrer. D’abord, nous avons benchmarké en interne Glean Assistant, avec l’auto routing activé, face à Claude Cowork, exécutant son modèle recommandé pour le travail au quotidien, Claude Sonnet 5, sur plus de 180 tâches en entreprise. Glean a économisé 81 % sur les coûts de tokens et a été choisi comme réponse préférée 78 % du temps. Claude Cowork affichait une moyenne de 2,98 $ par tâche Glean s’établissait à 0,58 $.
Ensuite, nous avons construit une analyse de frontière de Pareto qui cartographie les compromis coût/performance sur l’ensemble du paysage des modèles pour des tâches en entreprise, et cette analyse aide à orienter la manière dont Glean prend ses décisions d’auto routing. Avec l’auto routing, Glean associe les tâches aux modèles et à leurs niveaux de raisonnement en fonction de l’effort et des capacités requis.
Le yo-yo des tokens en 2026
Le tokenmaxxing a eu le vent en poupe au début de 2026, les entreprises suivant qui brûlait le plus de tokens comme indicateur de productivité. Le retour à la réalité a été rapide : Uber a révélé avoir épuisé l’intégralité de son budget 2026 pour le code assisté par IA en seulement quatre mois, et ServiceNow a rapporté le même sort quelques semaines plus tard, son CIO qualifiant cela de « problème vraiment difficile ». Alors que de nouveaux modèles de pointe continuaient d’être lancés et que le code agentique s’installait davantage dans le mainstream, les entreprises sont arrivées à la même conclusion : miser sur un seul modèle de pointe, sans discipline quant à la manière dont il est réellement utilisé, est une habitude coûteuse.
Le mois dernier a bousculé le paysage des modèles. De nouveaux modèles ouverts comme GLM 5.2, Kimi K3 et DeepSeek V4 Flash sont arrivés à des niveaux de prix plus bas, en parallèle des propres baisses tarifaires d’OpenAI sur GPT-5.6 Luna et Terra en juillet. Et les entreprises ont réagi : beaucoup ont ajouté davantage de modèles ouverts dans le mix, et les plateformes d’inférence et de mise à disposition de modèles qui les prennent en charge voient leur part de marché augmenter en conséquence.
Analyse de frontière de Pareto : évaluer les modèles sur le coût et la qualité, ensemble
Avec un tel écart entre coût et capacités, nous avons mené une analyse distincte pour voir comment ces modèles se comparent en intelligence par rapport au coût, cette fois sur un ensemble plus large de 1 000 tâches en entreprise, à travers 37 modèles et des configurations d’effort de raisonnement, dans un environnement de production. Cette analyse nous donne la granularité nécessaire pour voir comment différents types de tâches se comportent selon les modèles et utiliser ces résultats pour optimiser les décisions de routage.
Pour donner du sens à ce compromis, nous nous sommes tournés vers la frontière de Pareto : l’ensemble des modèles offrant le meilleur compromis possible entre performance et coût. Un modèle est optimal au sens de Pareto si aucune autre option n’offre de meilleures performances à son niveau de prix, ou, de manière équivalente, si aucun modèle moins cher n’est disponible à son niveau de performance. Représentés sous forme de courbe, les modèles peu coûteux et moins capables se situent en bas à gauche, les modèles chers et très capables en haut à droite, et la ligne entre les deux trace la frontière optimale.
L’analyse de Glean est unique, car la plupart des frontières de Pareto sont généralement construites à partir de jeux de données publics et ne sont pas ajustées aux complexités et à la diversité du travail en entreprise. La frontière de Pareto de Glean est calculée à partir d’une évaluation sécurisée du trafic de production en entreprise, en utilisant des méthodes qui ne rendent visibles aux évaluateurs que des statistiques agrégées.
Pour construire le graphique de la frontière de Pareto, Glean a évalué les réponses des modèles en confrontation directe, requête par requête, à l’aide d’un juge agentique centré sur la justesse, l’exécution de la tâche et l’aptitude du résultat à être utilisé tel quel. Notre conception de comparaison a combiné un tournoi en round-robin entre les 11 familles de modèles à leurs niveaux de raisonnement par défaut, avec des comparaisons entre niveaux de raisonnement adjacents au sein de chaque famille, pour un total de 81 confrontations par paires de modèles. Nous avons utilisé la méthodologie de Bradley–Terry, une technique statistique standard permettant de convertir des résultats en confrontation directe en une note relative unique, pour calculer le score qualité Glean. Le score représente la performance attendue d’un modèle en termes de préférence par rapport au champ de référence : un score de 60 signifie que le modèle est censé gagner sur la qualité dans 60 % des tâches lors d’une confrontation directe contre un concurrent choisi aléatoirement, les égalités étant réparties équitablement dans cette analyse. Des scores plus élevés sont meilleurs, un score de 50 indiquant le milieu de la distribution de qualité.
Ce que nous avons constaté :
- GPT-5.6 Luna (xhigh) se situe sur la frontière, avec un score de 55 au score qualité Glean, tout en restant très efficace en coût à 0,0819 $.
- GLM 5.2 (high), pour les amateurs de modèles open source, est légèrement meilleur que GPT-5.6 Luna (xhigh) avec un score de 57, mais à un coût plus élevé de 0,3489 $.
- Claude Opus 5 (high) se situe également sur la frontière, avec un score de 67, à un coût nettement plus élevé de 2,9605 $.
- Kimi K3 (high) représente un juste milieu plus équilibré, atteignant des gains de qualité significatifs par rapport à GPT-5.6 Luna avec un score de 63 et un coût de 0,8995 $.
- Gemini 3.7 Flash (high) en est un autre exemple, avec un score de 61 et un coût de 0,4748 $.
Cette analyse montre que la frontière n’est pas dominée par un seul fournisseur, et que l’écart de coût entre Luna 5.6 (xhigh) et le modèle le plus cher situé sur la frontière, Opus 5 (high), est de 36x pour un gain de 22 % du score qualité. De plus, il existe un certain nombre de modèles, Kimi K3 et Gemini 3.7 Flash (high), capables de capter des gains de qualité par rapport à GPT-5.6 Luna (xhigh), tout en coûtant 3 à 6x moins cher qu’Opus 5 (high).
Ces enseignements montrent qu’il n’existe pas de modèle « meilleur » unique et qu’il existe une plage optimale, ce qui explique pourquoi le choix de modèle et l’auto routing peuvent atteindre la qualité pour une fraction du coût. Les évaluations de frontière de Pareto s’ajoutent aux milliers d’évaluations que Glean exécute chaque trimestre pour éclairer les décisions de routage.
Comment fonctionne l’auto routing de Glean
Le routage automatique est l’approche de Glean pour associer le bon modèle, au bon niveau de raisonnement, à la tâche à accomplir, afin qu’aucun utilisateur n’ait besoin d’être un expert des modèles et de réfléchir à celui qu’il doit choisir. Nous abordons le routage sous deux angles. Le premier est la sélection du modèle : lequel des plus de 40 modèles ouverts et de pointe disponibles est le mieux adapté à une tâche donnée. Le second est le routage de l’effort : à quel point le modèle doit « réfléchir » au sujet, en utilisant le niveau de raisonnement comme levier.
Pour déterminer le niveau de raisonnement optimal à l’exécution, Glean utilise un petit modèle spécialiste, Glean Waldo, post-entraîné sur NVIDIA Nemotron 3 Nano. Une fois que Waldo a déterminé le niveau de raisonnement, il peut déléguer à un modèle spécialiste si nécessaire pour accomplir la tâche. Nous avons constaté, par exemple, que Claude Opus 4.8 excelle dans la création d’artefacts visuels le harness bascule donc vers Opus 4.8 en fonction de sa compréhension de la tâche.
Analyse de benchmark : Glean versus Claude Cowork sur le travail inter-départements
Glean offre un coût par tâche plus faible, sur la base de deux métriques d’entrée. La première est le coût mixte pour chaque jeton, à travers l’ensemble des modèles utilisés par le routage automatique. La seconde est le nombre de jetons utilisés. Glean a utilisé moins de jetons, 1,3 million contre 4,4 millions pour Claude Cowork, soit une réduction de 70 %. Combinés, ces facteurs ont fait baisser le coût moyen chez Glean à 0,58 $ par tâche, contre 2,98 $ pour Cowork.
La raison pour laquelle nous avons obtenu une réduction de 70 % de l’utilisation de jetons repose sur des choix d’architecture dans Glean :
- Fondations de contexte d’entreprise : Glean part d’une vue unifiée, pré-indexée et classée des informations d’entreprise, tandis que l’approche MCP fédérée de Claude Cowork doit interroger chaque système individuellement, sur-récupérant souvent des résultats et consommant des jetons pour normaliser les données, résoudre les conflits, et répéter des boucles de raisonnement dont il n’aurait pas besoin.
- Conception du harness : Glean conserve les sorties d’outils et l’état intermédiaire dans des fichiers sandbox au lieu de tout recharger dans la fenêtre de contexte du modèle à chaque fois. Il charge progressivement uniquement les outils, compétences et schémas dont une tâche a besoin, tandis que des sous-agents isolés maintiennent aussi le contexte non pertinent hors de la boucle de raisonnement principale.
Analyse de benchmark : Glean atteint une qualité supérieure à Claude Cowork à moindre coût
L’efficacité des coûts ne compte que si le résultat est exploitable, et c’est là qu’intervient la qualité. Glean a été préféré 78 % du temps à Claude Cowork sur plus de 180 requêtes, en l’emportant sur :
- Préférence globale : La réponse qu’ils utiliseraient réellement au travail
- Exactitude : La réponse la plus factuellement exacte, logiquement solide et ancrée dans des sources actuelles
- Exhaustivité : La réponse qui satisfaisait le mieux la demande et laissait moins de travail inachevé
- Qualité d’interaction : Le système qui nécessitait moins de guidage, de corrections, de re-prompts, d’attente ou de sauvetage manuel
La préférence pour Glean s’est vérifiée dans chaque département évalué, y compris les ventes, l’ingénierie, le marketing, les RH et people, le produit, la finance, ainsi que le support et la réussite client. Les tâches sélectionnées pour l’ensemble d’évaluation se sont inspirées de la façon dont les clients utilisent Glean aujourd’hui, bien que toutes les requêtes aient été générées de manière synthétique afin de protéger la confidentialité des utilisateurs. Les tâches ont été revues par des experts métier dans chaque domaine, avec des membres de l’équipe commerciale vérifiant les tâches de vente, des marketeurs vérifiant les tâches marketing, etc., afin de s’assurer qu’elles étaient représentatives de leur travail.
L’avantage de Glean s’est également maintenu selon les types de tâches. L’ensemble d’évaluation couvrait tout le spectre du travail en entreprise : rédiger et améliorer du contenu (y compris des artefacts comme des slides, des feuilles de calcul et du HTML, de plus en plus centraux dans les cas d’usage de coworking en entreprise), résumer et synthétiser des sources, analyser des données, localiser des ressources, automatiser des workflows, et comprendre des sujets complexes.
Analyse de benchmark : Les réponses préférées de Glean aident à lutter contre le botsitting
Nous avons également constaté que les réponses préférées de Glean réduisent le botsitting, ce travail largement non budgété que les employés assument pour rendre l’IA utilisable en lui fournissant du contexte, en supervisant les résultats et en nettoyant les erreurs. Une étude de Glean's Work AI Institute, menée auprès de 6 000 travailleurs numériques à temps plein, a révélé que les employés passent 6,4 heures par semaine à faire du botsitting, soit plus de temps qu’ils n’en passent à utiliser l’IA pour produire réellement du travail. Les retours de nos évaluateurs ont mis en évidence des schémas d’échec qui créent ce type de travail de correction :
- Des tâches mal interprétées
- Des productions difficiles à lire ou à partager
- Des rôles ou du contexte de compte manquants
- Des éléments de preuve incomplets ou obsolètes
- Des conclusions non étayées, voire incorrectes
Chacun de ces points constitue une petite taxe pour la personne qui utilise le résultat, ce travail même que le Work AI Institute quantifie comme du botsitting. Lorsqu’un système démarre avec le bon contexte déjà en place, il a besoin de moins de corrections de ce type, et les travailleurs récupèrent les heures qui, autrement, seraient consacrées à gérer l’IA.
Analyse de benchmark : Méthodologie d’évaluation
L’évaluation interne reposait sur des requêtes synthétiques accédant aux données de production de Glean, avec des évaluateurs notant plus de 180 réponses sur une échelle de préférence à 5 points, en comparant Glean Assistant et Claude Cowork côte à côte. Pour l’accès aux données d’entreprise, Glean a utilisé ses connecteurs natifs et basés sur MCP, tandis que Claude Cowork a été configuré avec des connecteurs MCP prêts à l’emploi couvrant Google Drive, Gmail, Google Calendar, Slack, Atlassian Rovo, Linear, Intercom et Sigma, ainsi que des serveurs MCP locaux pour Salesforce, GitHub et GCP. Glean a été exécuté avec le routage automatique activé Claude Cowork est resté constant sur Claude Sonnet 5 avec un raisonnement élevé, Anthropic’s recommended
niveau de raisonnement qui équilibre qualité et rapidité.L’essor de la frontière de Pareto et l’évaluation des modèles sur le rapport coût-performance
L’essor de la frontière de Pareto marque le déclin de l’intelligence maximale comme stratégie par défaut pour l’IA en entreprise. Les entreprises n’ont plus besoin de choisir entre le coût de l’IA et ce qu’elle apporte, et miser sur un seul modèle de frontière, sans discipline quant à la façon dont il est réellement utilisé, n’est pas une pratique durable. Les résultats de Glean le démontrent : associer un routage à travers un paysage de modèles en évolution rapide au contexte d’entreprise réduit les coûts de tokens de 81 %, tandis que les sorties elles-mêmes sont préférées dans 78 % des cas. Glean s’engage à aider les entreprises à réduire drastiquement les coûts de tokens afin qu’elles puissent accroître considérablement le volume de travail qu’elles confient à l’IA.
Rejoignez-nous à Glean:GO pour en savoir plus sur ces résultats.
