Créer un agent de support client intelligent avec les API de Glean et les microservices NVIDIA NIM

Introduction

La collaboration entre Glean et NVIDIA ouvre la voie à une architecture d'IA puissante et de qualité professionnelle, qui constitue le socle des agents modernes de service client. En tirant parti du graphe de connaissances contextuel de Glean et des microservices NVIDIA NIM™, les organisations peuvent créer des applications d'IA agentique capables de fournir des réponses précises et contextualisées à des requêtes complexes, tout en protégeant de manière sécurisée les données et les prompts de l'entreprise au sein de leur réseau. Pour en savoir plus sur l'annonce de notre collaboration, cliquez ici. Cet article décrit comment les entreprises peuvent intégrer les API Glean aux microservices NVIDIA NIM afin de déployer un agent de support IA de pointe.

Qu'est-ce que NVIDIA NIM ? 

Les microservices NIM sont inclus dans la plateforme logicielle NVIDIA AI Enterprise et accélèrent le déploiement de l'IA générative dans les entreprises. Prenant en charge un large éventail de modèles d'IA, dont les modèles NVIDIA AI Foundation et les modèles personnalisés, les microservices NIM assurent une inférence IA fluide et évolutive, sur site ou dans le cloud, en s'appuyant sur des API standard du secteur.

Avec NIM, nos clients peuvent choisir parmi une grande variété de modèles de langage à héberger eux-mêmes sur leur propre infrastructure. Les clients peuvent utiliser le catalogue d'API NVIDIA pour expérimenter les tout derniers LLM accélérés par GPU dès le jour de leur sortie, et les intégrer facilement à Glean Assistant. NIM facilite la fourniture d'une inférence LLM optimisée à grande échelle, où que le modèle soit hébergé.

L'un des principaux avantages de NIM est qu'il permet aux organisations de conserver un contrôle total sur leur infrastructure d'IA et leur propriété intellectuelle. En permettant aux entreprises d'héberger elles-mêmes les modèles sur leur propre infrastructure, NIM garantit que les informations sensibles de l'entreprise, les prompts et les personnalisations restent sécurisés au sein de leur réseau, tout en offrant des capacités d'inférence IA haute performance.

Pour en savoir plus sur les microservices NVIDIA NIM, cliquez ici. Chaque couche de la pile met en évidence des composants ou des capacités clés conçus pour améliorer le déploiement et les performances des modèles de machine learning. Voici ce que représente chaque partie :

1. Conteneur préconfiguré : en haut de la pile, cela indique que NVIDIA fournit des environnements conteneurisés préconfigurés qui simplifient le déploiement des modèles en incluant les dépendances et les configurations nécessaires.
   
2. API standard du secteur : cette couche garantit la compatibilité et la facilité d'intégration avec les API couramment utilisées, facilitant une utilisation fluide du module sur diverses plateformes et applications.
   
3. Prise en charge des modèles personnalisés : NVIDIA NIM prend en charge non seulement les modèles pré-entraînés, mais aussi les modèles définis par l'utilisateur ou personnalisés, offrant une flexibilité pour les cas d'usage spécialisés.
   
4. Code spécifique au domaine : cette couche signifie que le module inclut des optimisations et du code adaptés à des secteurs ou à des applications spécifiques, comme la santé, l'automobile ou le commerce de détail.‍
5. Moteurs d'inférence optimisés : à la base de la pile, cette couche garantit que les moteurs d'inférence sous-jacents sont hautement optimisés pour la performance, en tirant parti du matériel NVIDIA pour offrir une inférence efficace et rapide.
   

La pile met l'accent sur une combinaison de facilité d'utilisation, de flexibilité et de hautes performances, adaptée aux besoins spécifiques de chaque secteur.

Comment les API Glean et NVIDIA NIM fonctionnent ensemble

Le diagramme ci-dessous illustre une architecture d'agent de service client qui combine les API Glean avec les microservices NVIDIA NIM et NeMo. Cette configuration fonctionne en quatre étapes, dans le but d'améliorer l'expérience client et d'accroître l'efficacité opérationnelle : traitement initial de la requête, système de récupération, reclassement et génération de la réponse. L'intégration aux API Glean garantit une précision de niveau entreprise, une pertinence contextuelle et une récupération fiable du contenu pour ces étapes. Les API Glean offrent une récupération de données puissante, garantissant des résultats sécurisés, respectueux des autorisations et contextuellement pertinents. En indexant les données de l'entreprise à travers des sources variées, les API Glean font remonter des informations à la fois accessibles et pertinentes pour les utilisateurs. Les microservices NVIDIA NeMo et NIM améliorent la précision de la récupération et le classement, tout en permettant la prise en charge d'entrées multimodales.

Résumé du workflow

1. Contextualisation de la requête utilisateur :
   
   1. L'utilisateur soumet une requête au format texte et/ou image. 
   2. Les images sont converties en langage naturel grâce aux capacités image-vers-texte de NVIDIA NeMo (NeVA 22B NIM) et à NVIDIA NIM pour LLM pour la contextualisation de la requête à partir de l'historique de conversation.
2. Mise en place de garde-fous pour les requêtes :
   
   1. NVIDIA NeMo Guardrails évalue les requêtes afin de filtrer les requêtes restreintes et de protéger les informations sensibles de l'entreprise.
   2. Les requêtes non sensibles sont transmises à l'agent ReAct, qui utilise un autre NIM pour identifier et filtrer les sources de données qui alimenteront la réponse.
3. Système de récupération :
   
   1. Plusieurs requêtes reformulées avec différentes facettes (par exemple, filtres de date, mots-clés, contexte utilisateur) sont envoyées aux API de recherche de Glean.
   2. Les API de Glean récupèrent les résultats à partir de son graphe de connaissances contextuel, fournissant un contenu hautement pertinent, en temps réel et respectueux des autorisations.
   3. Taille du snippet : Glean prend en charge des extraits pouvant atteindre 25 000 caractères, garantissant une récupération complète pour des réponses longues ou détaillées.
   4. Déduplication : les résultats provenant de plusieurs requêtes sont dédupliqués afin de supprimer les fragments redondants et de fournir des sorties claires.
4. Reclassement :
   
   1.  Le microservice NVIDIA NIM de reclassement NeMo Retriever hiérarchise le contenu récupéré en fonction de sa pertinence et de son exactitude.
5. Génération de réponses :
   
   1. Le LLM NIM pour le modèle fondamental de référence du client (dans ce cas, Llama 3.1) synthétise la réponse finale à partir du contenu le mieux classé.
   2. Références : les réponses sont enrichies de citations en ligne à l'aide du microservice d'embedding NeMo Retriever afin de préserver la transparence et d'afficher les documents sous la réponse complète pour un accès facilité.

Flexibilité de déploiement

Les API Glean et NVIDIA NIM offrent un cadre hautement adaptable pour déployer des solutions d'IA avancées dans des environnements variés.

• Déploiements cloud évolutifs : les deux plateformes s'intègrent en toute transparence aux principaux fournisseurs cloud, dont AWS et GCP, offrant aux entreprises l'évolutivité et la résilience nécessaires aux charges de travail d'IA de niveau entreprise.
• Compatibilité sur site : NVIDIA NIM, en tant que composante de la suite NVIDIA AI Enterprise, étend les options de déploiement aux centres de données sur site, permettant aux organisations de tirer parti d'une infrastructure optimisée pour les environnements sensibles ou réglementés. Glean complète cette offre en se connectant de manière sécurisée aux systèmes sur site, garantissant un accès unifié aux données de l'entreprise.
• Performances optimisées : les mécanismes de récupération efficaces de Glean et les moteurs d'inférence sur mesure de NVIDIA assurent un débit élevé et une faible latence, offrant des performances réactives même pour les applications les plus exigeantes.
• Architecture unifiée : ensemble, Glean et NVIDIA NIM créent une solution robuste qui s'adapte aux stratégies cloud-first, hybrides et spécialisées sur site. Les organisations peuvent ainsi déployer une IA de pointe en toute confiance.

Pour en savoir plus, consultez la présentation de NVIDIA AI Enterprise ou explorez les options de déploiement de Glean.

Ce que les API Glean apportent

Les API Glean jouent un rôle essentiel dans l'architecture globale en offrant :

• Graphe de connaissances contextuel : Glean construit un graphe de connaissances qui indexe les données d'entreprise structurées et non structurées, garantissant que les réponses s'appuient sur des informations fiables et respectueuses des permissions.
• Recherche avec facettes : les API de recherche Glean offrent des capacités de filtrage avancées (par ex. date, type de document, contexte utilisateur), permettant des réponses de requête hautement ciblées.
• Prise en charge des extraits volumineux : Glean récupère des fragments de contenu pouvant atteindre 25 000 caractères, ce qui garantit un contexte suffisant pour une génération de réponses précise.
• Contexte utilisateur et d'accès : Glean intègre les permissions utilisateur et les contrôles d'accès, garantissant que seul le contenu autorisé apparaît dans les réponses.
• Déduplication des requêtes : les résultats redondants sont automatiquement supprimés afin de fournir des données propres et uniques pour le traitement en aval.
• Performances en temps réel : les API Glean fournissent des réponses avec un débit élevé et une faible latence, garantissant une expérience utilisateur fluide dans les environnements de production.

Pourquoi utiliser Glean et NVIDIA pour les bots de service client ?

• Précision à grande échelle : l'architecture RAG de NVIDIA associée au vaste graphe de connaissances de Glean garantit des réponses de haute qualité.
• IA de niveau entreprise : une sécurité robuste, un contrôle d'accès et une déduplication des données qui répondent aux besoins de l'entreprise.
• Capacités multimodales : la prise en charge des entrées texte et image améliore l'utilisabilité du bot.
• Intégration transparente : les API Glean et les microservices d'inférence NVIDIA NIM fonctionnent ensemble sans effort.
• Contrôle de l'infrastructure privée : les organisations peuvent déployer des modèles d'IA sur leur propre infrastructure, garantissant que les données sensibles de l'entreprise, les prompts et la propriété intellectuelle restent sécurisés au sein de leur réseau, tout en maintenant des performances et une évolutivité de niveau entreprise.

Pour commencer

Pour une documentation technique plus détaillée, consultez :

• Guide de déploiement NVIDIA NIM
• Microservices NVIDIA NeMo Retriever NIM‍
• Exemples d'IA générative NVIDIA sur GitHub‍
• Créer une IA agentique avec NVIDIA NIM et Glean sur le portail développeurs de Glean

 Prêt à créer votre bot de support intelligent ? Lancez-vous dès aujourd'hui avec les API Glean et NVIDIA NIM.