Claude Sonnet 4.5 optimise l'exécution des outils pour débloquer 10 % des requêtes jusqu'ici hors de portée

Glean est une plateforme ouverte qui prend en charge les derniers modèles open source et commerciaux, donnant aux entreprises accès aux LLM les plus avancés. Glean fournit le contexte dont ces modèles ont besoin en exploitant plus de 100 sources de données à travers l'entreprise et en construisant un Enterprise Graph qui comprend le fonctionnement de votre entreprise — les personnes, les relations, les projets, les tâches et les processus. Résultat : nous aidons les entreprises à accomplir davantage grâce à l'IA — du débogage à la rédaction, en passant par l'analyse de données et bien plus encore, le tout ancré dans le contexte.

Glean s'engage à prendre rapidement en charge les modèles de pointe, dont Claude Sonnet 4.5, et à permettre aux utilisateurs de les tester sur de véritables charges de travail d'entreprise. Nous sommes heureux de prendre en charge Sonnet 4.5 cette semaine dans notre créateur d'agents no-code, permettant aux utilisateurs de choisir le meilleur modèle pour chaque tâche parmi Sonnet 4.5 et plus de 15 modèles, par agent ou par étape d'agent. 

Chez Glean, nous évaluons les modèles et notre moteur agentique selon leur exhaustivité, leur exactitude et leur alignement avec les retours humains. Nous partageons ensuite ces résultats afin que les utilisateurs puissent prendre des décisions éclairées sur les modèles à utiliser. Nos évaluations ont révélé que, comparé à Sonnet 4.0, Sonnet 4.5 offre une meilleure exactitude et une plus grande exhaustivité et, surtout, parvient à traiter 10 % de requêtes supplémentaires avec retour humain (requêtes ayant reçu un vote négatif), une catégorie de requêtes qui était hors de portée pour Sonnet 4.0. Sonnet 4.5 parvient à la réponse finale avec moins d'itérations de planification — offrant de meilleures performances de manière plus efficace.

Sonnet 4.5 traite des requêtes auxquelles Sonnet 4.0 ne parvenait tout simplement pas à répondre

Glean a constaté sa plus grande amélioration avec Sonnet 4.5 sur l'alignement avec les retours humains, qui mesure la fréquence à laquelle les modèles plus récents parviennent à résoudre des requêtes ayant précédemment reçu un vote négatif.

L'alignement avec les retours humains est une cible mouvante. Nous avons récemment apporté une amélioration significative à Agentic Engine 2 de Glean, le moteur qui planifie et itère de manière adaptative sur le contexte d'entreprise. Cela nous a permis de résoudre une catégorie de requêtes représentant 20 % de l'ensemble des requêtes à vote négatif qui étaient auparavant hors de portée. Avec ce nouveau moteur, la barre pour traiter les retours humains s'est considérablement relevée, rendant plus difficile pour Sonnet 4.5 de démontrer des gains de performance. Dans ce contexte, nous sommes impressionnés par le bond d'amélioration de 10 % du modèle Sonnet plus récent.

Sonnet 4.5 est plus efficace grâce à un meilleur appel d'outils et une meilleure utilisation de la planification adaptative

Si Sonnet 4.5 a réalisé des gains en matière d'exactitude et d'exhaustivité par rapport à Sonnet 4.0, le succès le plus notable est que le modèle a obtenu ces résultats de manière efficace. Nous suivons l'efficacité à l'aide de deux indicateurs :

• Appel d'outils : le nombre de fois où l'agent utilise des données ou des actions externes lors de la résolution d'un problème.‍
• Cycles de planification adaptative : le nombre d'itérations au cours desquelles l'agent révise et exécute son plan en fonction des résultats intermédiaires jusqu'à ce que la tâche soit accomplie.

Non seulement le modèle est plus apte à cibler plus rapidement les bons outils, mais il utilise aussi plus efficacement l'appel d'outils parallèle sans sollicitation forcée. Le modèle peut déduire le bon ordre d'exécution pour les étapes dépendantes et reconnaître quand les appels peuvent être parallélisés. 

Si nous constatons que la planification adaptative est précieuse pour les questions ouvertes ou de recherche, son usage excessif peut augmenter la latence et la consommation de ressources. Sonnet 4.5 est plus apte à analyser de grands ensembles de résultats et à s'engager sur une réponse lorsque sa confiance est élevée, ce qui lui permet de répondre sans exécuter d'étape de confirmation supplémentaire.

Ce qui est impressionnant, c'est que Sonnet 4.5 utilise l'appel d'outils et la planification adaptative de manière plus efficace sans dégrader les performances en matière d'exhaustivité ou d'exactitude.

Comment Sonnet 4.5 optimise l'appel d'outils  

Dans les données d'évaluation, nous voyons que Sonnet 4.5 analyse la requête de l'utilisateur et détermine les opérateurs à utiliser, appliquant efficacement les bons filtres et paramètres aux outils — ce qui produit des résultats plus précis avec moins d'appels d'outils. Il est également plus apte à identifier les outils qui font progresser la tâche de manière mesurable — soit en réduisant l'incertitude, en écartant des chemins d'exécution possibles, ou en produisant le résultat final.

Nous observons les améliorations de l'appel d'outils et de la planification adaptative dans cette requête :

Avec Sonnet 4.5, cette requête a été traitée au moyen de 3 recherches parallélisées plutôt que de 3 recherches séquentielles, économisant ainsi 2 appels de LLM et réduisant la latence. 

Accédez à Sonnet 4.5 et aux principaux modèles open source et commerciaux dans le Model Hub de Glean

Sonnet 4.5 offre des réponses plus précises et plus complètes pour l'IA d'entreprise que Sonnet 4.0 — et utilise les outils d'entreprise plus efficacement pour résoudre des questions plus complexes avec une meilleure efficacité. Sonnet 4.5 arrive cette semaine dans le Model Hub de Glean aux côtés de plus de 15 modèles open source et commerciaux de premier plan, afin que vous puissiez voir comment il fonctionne sur vos propres agents d'entreprise.

Si vous n'êtes pas utilisateur de Glean et souhaitez voir Sonnet 4.5 à l'œuvre, inscrivez-vous dès aujourd'hui pour une démo gratuite.

‍

Auteurs : Kunal Patil, Nikhil Mandava, Seema Jethani,Nilesh Dalvi, Julie Mills