Les équipes d'infrastructure modernes ne manquent généralement pas de données. Ce qui leur manque, c'est un jugement clair et partagé.
Chez Glean, nous avons été confrontés à un problème récurrent : nous prenons en charge des centaines de déploiements clients isolés et, à mesure que nous montions en échelle, il devenait de plus en plus difficile de surveiller manuellement la santé du système à travers les composants d'infrastructure critiques et les déploiements. Parallèlement, les signaux relatifs à la santé des services internes étaient répartis entre de nombreuses sources disparates — tableaux de bord, journaux, tickets, alertes et fils de discussion — rendant impossible l'obtention rapide d'une vue d'ensemble précise de la santé d'un déploiement pour un client donné. Cette lacune était particulièrement pénalisante pour les équipes GTM en contact avec les clients, qui avaient besoin d'un résumé fiable de la santé des clients sans disposer d'une expertise approfondie de chaque système d'ingénierie sous-jacent.
Nous avons donc conçu la plateforme Health Agents par-dessus Glean Agents : un système d'agents proactifs et dédiés qui surveillent en continu les principaux domaines d'infrastructure sur l'ensemble des déploiements, transformant des signaux désordonnés en jugements et explications clairs sur l'état de santé.
Concevoir une plateforme agentique de surveillance de la santé
Health Agents est une plateforme extensible qui surveille les composants d'infrastructure critiques de chaque déploiement client. Au lieu d'obliger chaque collaborateur de Glean à interpréter lui-même les tableaux de bord bruts, les journaux, les alertes et les tickets, la plateforme produit un rapport de santé de haut niveau sur le déploiement, appuyé par des agents spécialisés dans la santé des composants.
Chaque agent de santé de composant est chargé d'interpréter les signaux de son propre domaine, tels que la latence et la fiabilité du service de requêtes, la fraîcheur de l'indexation de recherche, la stabilité des pipelines ML, la santé des instances de bases de données, la fiabilité de l'ingestion de documents, et bien plus encore. Les agents évaluent des entrées disparates et produisent une sortie structurée :
- Un jugement de santé clair vert / jaune / rouge
- Une brève explication du ou des problèmes principaux et de leur impact en aval
- Des liens de référence, des vues détaillées et des actions recommandées
Les rapports au niveau des composants se consolident en un rapport au niveau du déploiement client, offrant à la fois un résumé rapide de la santé de haut niveau et des points d'entrée vers des investigations plus approfondies pour les équipes GTM et d'Ingénierie.
Architecture du système
En coulisses, Health Agents est un système en couches qui combine Glean Agents avec une couche personnalisée d'orchestration et d'agrégation :
- Signaux bruts : métriques, journaux, alertes, tickets, métadonnées de déploiement, rapports de coûts et autres contextes opérationnels.
- Agents de santé de composants spécialisés : des agents spécifiques à chaque domaine, conçus et gérés par les experts les plus proches de chaque partie de la pile.
- Orchestration et agrégation : un service développé sur mesure qui gère l'agrégation des rapports de santé, la planification configurable des agents de santé à grande échelle, le stockage des rapports de santé et les API pour les intégrations d'outils internes.
- Surfaces destinées aux utilisateurs : tableau de bord de surveillance interne, liens vers les sources des problèmes et sorties proactives qui aident les équipes à évaluer la santé des déploiements et à passer à l'action.
Nous avons rendu Health Agents évolutif en nous appuyant sur Glean Agents comme fondation d'exécution, le mode automatique de Glean Agent Builder permettant la création rapide de nouveaux agents spécialisés à partir d'instructions en langage naturel. Plutôt que de créer des agents de toutes pièces pour chaque composant d'infrastructure, nous avons encodé un jugement de santé partagé dans des compétences d'agent réutilisables, destinées à collecter les signaux de sources disparates, à les interpréter et à produire un rapport de santé cohérent et explicable. Cette structure a permis aux différentes équipes d'ingénierie d'étendre facilement la plateforme de surveillance avec de nouveaux agents de santé dédiés à leurs domaines.
Parallèlement aux agents de santé spécialisés, nous avons également conçu un agent de synthèse hebdomadaire qui parcourt l'ensemble des déploiements clients pour analyser les tendances de santé et faire ressortir les problèmes récurrents ou émergents.
Compromis de conception de Health Agent
La spécialisation était notre principe de conception central : des agents à portée délimitée produisent des résultats plus précis et plus fiables que des agents généralistes. Nous avons appliqué ce principe de deux manières.
Premièrement, nous avons séparé l'expertise sur la santé des composants de l'agrégation de la santé au niveau du déploiement. C'était utile, car la santé globale d'un système n'est pas un seul problème ; c'est un ensemble de problèmes spécifiques à chaque domaine. Par exemple, les signaux indiquant qu'un pipeline d'entraînement ML est en mauvaise santé diffèrent de ceux indiquant qu'un service de requêtes est hors service, et ils ont également des niveaux d'impact en aval différents. En confiant à des experts de domaine la maintenance de chaque agent de santé de composant, nous avons préservé la nuance nécessaire à un bon jugement. Pendant ce temps, l'agent au niveau du déploiement synthétise la santé des composants en un seul rapport étayé que les utilisateurs peuvent interpréter rapidement.
Cette séparation nous a apporté trois avantages :
- Une meilleure explicabilité. Chaque jugement de santé repose sur un ensemble de signaux et une logique de notation clairement définis et traçables.
- Une meilleure maintenabilité. Les équipes peuvent améliorer un agent de santé de composant sans réécrire l'ensemble du système.
- Une meilleure portabilité. Le même modèle peut s'étendre au fil du temps à de nouveaux déploiements, composants et domaines de surveillance.
Deuxièmement, nous avons séparé les agents légers de surveillance de la santé des agents internes de débogage plus approfondis. Les agents de santé sont optimisés pour l'étendue : exécutions fréquentes, couverture large, résultats structurés et coût réduit. Les agents de débogage sont optimisés pour la profondeur : une investigation plus riche une fois qu'un problème a émergé. Ce transfert ajoute de la complexité, mais dans la pratique, il nous permet d'optimiser la qualité et la cohérence des résultats tout en faisant évoluer indépendamment les capacités de détection et de débogage, au lieu de forcer un unique agent fourre-tout à tout faire.
Confiance et calibrage
Nous avons déployé les premières versions de Health Agents auprès d'un petit groupe d'utilisateurs pilotes au sein de Glean avant d'étendre l'usage à toute l'entreprise. Au cours de ce processus, nous avons appris que la confiance des utilisateurs est essentielle pour rendre un système agentique utile. Nous avons construit cette confiance grâce à quelques mécanismes concrets :
- Des données de haute qualité : chaque agent spécialisé démarre avec un petit ensemble d'indicateurs à fort signal capables de produire un jugement de santé utile pour ce domaine.
- L'explicabilité : chaque rapport de santé explique précisément ce qui semble anormal dans chaque composant d'infrastructure, quel est l'impact en aval et où aller ensuite.
- Des boucles de retour et d'itération : le retour continu des utilisateurs est devenu un élément central du système, orientant les mises à jour des compétences des agents, l'extension de la couverture de surveillance, les améliorations de l'UX et les actions de suivi.
Les retours des utilisateurs ont façonné à la fois le comportement des agents et l'expérience produit qui l'entoure. Lors des premiers pilotes, certains agents spécialisés étaient trop agressifs en étiquetant des composants comme critiques ou dégradés, de sorte que les utilisateurs ont commencé à minimiser ces jugements. Pour réduire le bruit, nous avons travaillé avec les experts du domaine d'ingénierie concernés afin de clarifier quelles conditions devaient déclencher une action immédiate plutôt que d'être simplement signalées pour une inspection plus approfondie. Nous avons également constaté que les utilisateurs avaient besoin d'une meilleure visibilité sur les problèmes détectés par les agents qui étaient récents par rapport à ceux de longue durée, ce qui nous a conduits à ajouter des graphiques de tendances historiques de santé et des indicateurs de hausse/baisse de haut niveau dans le tableau de bord propulsé par les agents. Enfin, pour aider les utilisateurs à comprendre le contexte plus large autour des problèmes de santé d'infrastructure, nous avons utilisé Glean Artifacts pour créer des rapports visuels interactifs et des diagrammes de dépendances venant compléter le tableau de bord de surveillance.
Health Agents nous a montré que la qualité des agents est un problème de produit, et pas seulement un problème de prompt. La qualité d'un système agentique dépend de l'ensemble de l'expérience utilisateur : facilité d'utilisation, fiabilité, cohérence entre les surfaces, explicabilité et valeur claire.
L'impact de Health Agents
Aujourd'hui, Health Agents est utilisé dans les workflows quotidiens de Glean, aussi bien dans les équipes GTM que dans celles d'Ingénierie, couvrant les composants d'infrastructure critiques de tous les déploiements clients. Au sein du GTM, les équipes de compte sont en mesure de repérer et de comprendre de manière proactive les problèmes de santé des déploiements clients sans avoir besoin de solliciter les ingénieurs. Au sein de l'Ingénierie, nous utilisons Health Agents pour surveiller nos propres domaines d'infrastructure à travers les déploiements, vérifier si une régression récente est isolée ou généralisée, et trouver rapidement des problèmes corrélés entre composants dépendants.
Quelques exemples :
- Préparation à l'expansion d'un client : avant une expansion à plus de 10 000 utilisateurs, l'équipe de compte a utilisé Health Agents pour obtenir un instantané de santé de haut niveau, signaler les composants approchant leurs limites de ressources et acheminer les suivis vers les bons responsables d'ingénierie avant la mise en production.
- Préparation plus rapide des réunions clients : au lieu de consulter plusieurs tableaux de bord, journaux et fils Slack avant un appel client, les SA et SE affectés à un compte peuvent obtenir rapidement une vue de santé client de haut niveau et approfondir si quelque chose semble anormal.
- Visibilité de la santé entre déploiements : les équipes d'astreinte d'ingénierie peuvent voir si un problème est isolé ou s'inscrit dans un schéma plus large à travers les déploiements, et identifier facilement les tendances et les corrélations entre problèmes.
En plus de l'usage, nous évaluons également la qualité des agents en comparant les problèmes détectés par les agents aux escalades clients et aux autres canaux de remontée de problèmes. Nous suivons le taux de détection proactive des escalades et le délai de détection des problèmes afin d'améliorer continuellement Health Agents au fil du temps.
La suite
Aujourd'hui, Health Agents chez Glean détecte et explique de manière proactive les problèmes entre déploiements en transformant des signaux fragmentés en jugements de santé clairs. À mesure que le système devient de plus en plus central dans les workflows quotidiens, les prochains axes d'investissement sont l'extension de la couverture des signaux, l'automatisation du réglage des agents sur la base de métriques de qualité, le resserrement de la boucle entre les problèmes remontés et les actions suivantes, et l'approfondissement des intégrations avec d'autres outils internes. Ensemble, ces éléments constituent les étapes nécessaires vers une remédiation en boucle fermée : un système agentique qui passe de la détection au diagnostic puis à la résolution, avec des humains dans la boucle uniquement pour les actions à plus haut risque et la vérification finale.
