Créer un agent de support client intelligent avec les API Glean et les microservices NVIDIA NIM

Introduction

La collaboration entre Glean et NVIDIA ouvre la voie à une architecture IA puissante, de niveau entreprise, qui constitue la base des agents de support client modernes. En s’appuyant sur le graphe de connaissances contextuel de Glean et les microservices NVIDIA NIM™, les organisations peuvent créer des applications d’IA agentique qui fournissent des réponses précises et contextualisées à des requêtes complexes, tout en protégeant de manière sécurisée les données et les prompts de l’entreprise au sein de leur réseau. Découvrez notre annonce de collaboration ici. Cet article explique comment les entreprises peuvent intégrer les API Glean aux microservices NVIDIA NIM afin de déployer un agent de support IA de pointe.

Qu’est-ce que NVIDIA NIM  ; ?

Les microservices NIM sont inclus dans la plateforme logicielle NVIDIA AI Enterprise et accélèrent le déploiement de l’IA générative en entreprise. Prenant en charge un large éventail de modèles d’IA, notamment les NVIDIA AI Foundation et des modèles personnalisés, les microservices NIM offrent une inférence IA fluide et évolutive, sur site ou dans le cloud, en s’appuyant sur des API standard du secteur.

Avec NIM, nos clients peuvent choisir parmi une grande variété de modèles de langage à auto-héberger sur leur propre infrastructure. Les clients peuvent utiliser le catalogue d’API NVIDIA pour expérimenter avec les derniers LLMs accélérés par GPU dès leur sortie, et les intégrer facilement à Glean Assistant. NIM facilite la mise à disposition d’une inférence LLM optimisée à grande échelle, quel que soit l’endroit où le modèle est hébergé.

Un avantage clé de NIM est qu’il permet aux organisations de garder un contrôle total sur leur infrastructure IA et leur propriété intellectuelle. En permettant aux entreprises d’auto-héberger les modèles sur leur propre infrastructure, NIM garantit que les informations sensibles de l’entreprise, les prompts et les personnalisations restent sécurisés au sein de leur réseau, tout en offrant des capacités d’inférence IA hautes performances.

Pour en savoir plus sur les microservices NVIDIA NIM, cliquez ici. Chaque couche de la stack met en avant des composants ou des capacités clés conçus pour améliorer le déploiement et les performances des modèles de machine learning. Voici ce que représente chaque partie  ; :

1. Conteneur préconstruit : En haut de la stack, cela indique que NVIDIA fournit des environnements conteneurisés préconfigurés, qui simplifient le déploiement des modèles en incluant les dépendances et configurations nécessaires.
   
2. API standard du secteur : Cette couche garantit la compatibilité et la facilité d’intégration avec les API couramment utilisées, pour une utilisation fluide du module sur diverses plateformes et applications.
   
3. Prise en charge des modèles personnalisés : NVIDIA NIM prend en charge non seulement des modèles préentraînés, mais aussi des modèles définis par l’utilisateur ou personnalisés, offrant une flexibilité pour des cas d’usage spécialisés.
   
4. Code spécifique au domaine : Cette couche signifie que le module inclut des optimisations et du code adaptés à des secteurs ou applications spécifiques, comme la santé, l’automobile ou le retail.‍
5. Moteurs d’inférence optimisés : À la base de la stack, cette couche garantit que les moteurs d’inférence sous-jacents sont hautement optimisés pour les performances, en tirant parti du matériel NVIDIA pour fournir une inférence efficace et rapide.
   

La stack met l’accent sur une combinaison de simplicité d’utilisation, de flexibilité et de hautes performances, adaptée aux besoins propres à chaque secteur.

Comment les API Glean et NVIDIA NIM fonctionnent ensemble

Le schéma ci-dessous illustre une architecture d’agent de service client qui combine les API Glean avec les microservices NVIDIA NIM et NeMo. Cette configuration fonctionne en quatre étapes, avec pour objectif d’améliorer l’expérience client et l’efficacité opérationnelle  ; : traitement initial de la requête, système de récupération, reranking et génération de réponse. L’intégration avec les API Glean garantit une précision de niveau entreprise, une pertinence contextuelle et une récupération de contenu fiable à chacune de ces étapes. Les API Glean offrent une récupération de données puissante, avec des résultats sécurisés, respectant les permissions et pertinents dans leur contexte. En indexant les données de l’entreprise à travers des sources variées, les API Glean mettent en avant des informations à la fois accessibles et à fort impact pour les utilisateurs. Les microservices NVIDIA NeMo et NIM améliorent la précision de la récupération et du classement, tout en permettant la prise en charge d’entrées multimodales.

Synthèse du workflow

1. Mise en contexte de la requête utilisateur :
   
   1. L’utilisateur soumet une requête au format texte et/ou image.  ;
   2. Les images sont converties en langage naturel via les capacités image-vers-texte de NVIDIA NeMo (NeVA 22B NIM) et NVIDIA NIM pour LLM pour la mise en contexte des requêtes à partir de l’historique de chat.
2. Mise en place de garde-fous sur la requête :
   
   1. NVIDIA NeMo Guardrails évalue les requêtes afin de filtrer celles qui sont restreintes et de protéger les informations sensibles de l’entreprise.
   2. Les requêtes non sensibles sont envoyées à l’agent ReAct, qui utilise un autre NIM pour identifier et filtrer les sources de données devant alimenter la réponse.
3. Système de récupération :
   
   1. Plusieurs requêtes reformulées avec différents axes (p. ex. filtres de date, mots-clés, contexte utilisateur) sont envoyées aux API de recherche de Glean.
   2. Les API de Glean récupèrent les résultats depuis leur graphe de connaissances contextuel, fournissant un contenu hautement pertinent, en temps réel et respectant les permissions.
   3. Taille des extraits

 : Glean prend en charge des extraits jusqu’à 25 000 caractères, garantissant une récupération complète pour des réponses longues ou détaillées.

Déduplication : Les résultats issus de plusieurs requêtes sont dédupliqués afin de supprimer les segments redondants et de fournir des sorties propres.

Reranking :

1.   ;Le microservice NVIDIA NIM de reranking NeMo Retriever priorise le contenu récupéré en fonction de sa pertinence et de son exactitude.

Génération de réponses :

1. Le LLM NIM pour le modèle de base choisi par le client (dans ce cas, Llama 3.1) synthétise la réponse finale à partir du contenu le mieux classé.
2. Références : Les réponses sont enrichies de citations intégrées grâce au microservice d’embedding NeMo Retriever afin de garantir la transparence et d’afficher les éléments sources sous la réponse complète pour un accès facilité.

Flexibilité de déploiement

Les API Glean et NVIDIA NIM offrent un framework très adaptable pour déployer des solutions d’IA avancées dans des environnements variés.

• Déploiements cloud évolutifs : Les deux plateformes s’intègrent sans effort aux principaux fournisseurs cloud, notamment AWS et GCP, offrant aux entreprises l’évolutivité et la résilience nécessaires pour des charges de travail IA de niveau entreprise.
• Compatibilité on-premises : NVIDIA NIM, dans le cadre de la suite NVIDIA AI Enterprise, étend les options de déploiement aux data centers on-premises, permettant aux organisations de s’appuyer sur une infrastructure optimisée pour les environnements sensibles ou réglementés. Glean complète cette approche en se connectant de manière sécurisée aux systèmes on-premises, garantissant un accès unifié aux données d’entreprise.
• Performances optimisées : Les mécanismes de récupération efficaces de Glean et les moteurs d’inférence optimisés de NVIDIA garantissent un débit élevé et une faible latence, pour des performances réactives même dans les applications les plus exigeantes.
• Architecture unifiée : Ensemble, Glean et NVIDIA NIM créent une solution robuste qui s’adapte aux stratégies cloud-first, hybrides et on-premises spécialisées. Cela permet aux organisations de déployer une IA de pointe en toute confiance.

Pour en savoir plus, consultez la présentation de NVIDIA AI Enterprise ou explorez les options de déploiement de Glean.

Ce que fournissent les API Glean

Les API Glean jouent un rôle essentiel dans l’architecture globale en offrant :

• Graphe de connaissances contextuel : Glean construit un graphe de connaissances qui indexe les données d’entreprise structurées et non structurées, garantissant que les réponses s’appuient sur des informations fiables et respectueuses des permissions.
• Recherche avec facettes : Les API de recherche Glean offrent des capacités de filtrage avancées (p. ex. date, type de document, contexte utilisateur), permettant des réponses aux requêtes hautement ciblées.
• Prise en charge d’extraits volumineux : Glean récupère des segments de contenu jusqu’à 25 000 caractères, ce qui garantit un contexte suffisant pour une génération de réponses précise.
• Contexte utilisateur et d’accès : Glean intègre les permissions utilisateur et les contrôles d’accès, garantissant que seul le contenu autorisé remonte dans les réponses.
• Déduplication des requêtes : Les résultats redondants sont supprimés automatiquement afin de fournir des données propres et uniques pour les traitements en aval.
• Performances en temps réel : Les API Glean fournissent des réponses avec un débit élevé et une faible latence, garantissant des expériences utilisateur fluides en environnements de production.

Pourquoi utiliser Glean et NVIDIA pour des bots de support client ?

• Précision à grande échelle : L’architecture RAG de NVIDIA associée au vaste graphe de connaissances de Glean garantit des réponses de haute qualité.
• IA de niveau entreprise : Une sécurité robuste, le contrôle d’accès et la déduplication des données répondent aux exigences des entreprises.
• Capacités multimodales : La prise en charge des entrées texte et image améliore l’utilisabilité du bot.
• Intégration fluide : Les API Glean et les microservices d’inférence NVIDIA NIM fonctionnent ensemble sans effort.
• Contrôle de l’infrastructure privée : Les organisations peuvent déployer des modèles d’IA sur leur propre infrastructure, garantissant que les données sensibles de l’entreprise, les prompts et la propriété intellectuelle restent sécurisés au sein de leur réseau tout en maintenant des performances et une scalabilité de niveau entreprise.

Premiers pas

Pour une documentation plus technique, consultez :

• Guide de déploiement NVIDIA NIM
• Microservices NIM NVIDIA NeMo Retriever‍
• Exemples d’IA générative NVIDIA sur GitHub‍
• Créer une IA agentique avec NVIDIA NIM et Glean sur le portail développeurs de Glean

  ;Prêt à créer votre bot de support intelligent ? Lancez-vous dès aujourd’hui avec les API Glean et NVIDIA NIM.