Glean API と NVIDIA NIM マイクロサービスによるインテリジェントなカスタマーサポートエージェントの構築

はじめに

Glean と NVIDIA のコラボレーションにより、現代のカスタマーサポートエージェントの基盤となる、強力なエンタープライズグレードの AI アーキテクチャが実現します。Gleanのコンテクスチュアル・ナレッジ・グラフとNVIDIA NIM™ マイクロサービスを活用することで、組織はネットワーク内の企業データとプロンプトを安全に保護しながら、複雑なクエリに対して正確でコンテキストに応じた応答を提供するエージェント AI アプリケーションを作成できます。コラボレーションの発表についてもっと読む ここに。この記事では、企業が Glean API を NVIDIA NIM マイクロサービスと統合して最先端の AI サポートエージェントを導入する方法について概説します。

NVIDIA NIM とは何ですか?

ニム マイクロサービスは NVIDIA AI エンタープライズ ソフトウェアプラットフォームと企業におけるジェネレーティブAIの導入をスピードアップします。以下を含む幅広いAIモデルをサポート NVIDIA AI ファンデーションとカスタムモデル、NIM マイクロサービスは、業界標準の API を活用して、オンプレミスでもクラウドでも、シームレスでスケーラブルな AI 推論を提供します。

NIMを使用すると、お客様はさまざまな言語モデルから選択して、独自のインフラストラクチャでセルフホストできます。お客様は以下を使用できます NVIDIA API カタログ リリースされたその日に最新のGPUアクセラレーションLLMを試すことができ、GGlean Assistantと簡単に統合できます。NIM を使用すると、モデルがホストされている場所に関係なく、最適化された LLM 推論を大規模に簡単に提供できます。

NIMの主な利点は、組織がAIインフラストラクチャと知的財産を完全に制御できることです。NIMは、企業が自社のインフラストラクチャでモデルをセルフホストできるようにすることで、企業の機密情報、プロンプト、カスタマイズをネットワーク内で安全に保ちながら、高性能なAI推論機能を提供できるようにします。

NVIDIA NIM マイクロサービスの詳細はこちら ここに。スタックの各レイヤーでは、機械学習モデルのデプロイとパフォーマンスを強化するために設計された主要なコンポーネントや機能が強調されています。各パーツの意味は次のとおりです。

1. ビルド済みコンテナ: スタックの最上位にあるのは、NVIDIA が、必要な依存関係や構成を含めることでモデルのデプロイを簡素化する、事前設定済みのコンテナ化された環境を提供していることを示しています。
   
2. 業界標準の API: このレイヤーにより、一般的に使用される API との互換性と統合が容易になり、さまざまなプラットフォームやアプリケーションでモジュールをシームレスに使用できるようになります。
   
3. カスタムモデルのサポート: NVIDIA NIM は、事前トレーニング済みのモデルだけでなく、ユーザー定義モデルやカスタマイズモデルにも対応しているため、特殊な用途に柔軟に対応できます。
   
4. ドメイン固有コード: このレイヤーは、このモジュールには、ヘルスケア、自動車、小売などの特定の業界またはアプリケーションに合わせた最適化とコードが含まれていることを意味します。‍
5. 最適化された推論エンジン: スタックの基盤となるこのレイヤーにより、基盤となる推論エンジンのパフォーマンスが高度に最適化され、NVIDIA ハードウェアを活用して効率的かつ高速な推論が可能になります。
   

このスタックは、業界固有のニーズに合わせた使いやすさ、柔軟性、および高性能の組み合わせに重点を置いています。

Glean API と NVIDIA NIM がどのように連携するか

以下の図は、Glean API と NVIDIA NIM および NeMo マイクロサービスを組み合わせたカスタマーサービスエージェントアーキテクチャを示しています。このセットアップは、カスタマーエクスペリエンスの向上と業務効率の向上を目的として、次の 4 つの段階に分かれています。 初期クエリ処理、 検索システム、 再ランキング、および 回答生成。Glean APIとの統合により、エンタープライズグレードの正確性、コンテキストの関連性、およびこれらの段階での信頼性の高いコンテンツ取得が可能になります。 API Glean 強力なデータ検索機能により、確実に権限を認識し、状況に応じた結果が得られます。Glean APIは、さまざまなソースにわたる企業データをインデックス化することで、ユーザーにとってアクセス可能でインパクトのある情報を明らかにします。 NVIDIA Nemo とニム マイクロサービスは、マルチモーダル入力サポートを可能にすると同時に、検索精度とランキングを向上させます。

ワークフロー概要

1. ユーザークエリのコンテキスト化:
   
   1. ユーザーは、テキスト形式および/または画像形式でクエリを送信します。
   2. 画像は NVIDIA NeMo の画像テキスト変換機能を使用して自然言語に変換されます (ネバ 22B ニム）およびチャット履歴クエリのコンテキスト化用の NVIDIA NIM for LLM
2. クエリー・ガードレール:
   
   1. NVIDIA ネモガードレール クエリを評価して制限付きクエリをフィルタリングし、企業の機密情報を保護します。
   2. 機密ではないクエリはReACT Agentに送信され、ReACT Agentは別のNIMを使用して、回答に入力する必要があるデータソースを識別してフィルタリングします。
3. 検索システム:
   
   1. さまざまなファセット（日付フィルター、キーワード、ユーザーコンテキストなど）を含む複数の言い直されたクエリがに送信されます グリーンの検索 API。
   2. GleanのAPIはそこから結果を取得します コンテクスチュアル・ナレッジ・グラフ、関連性が高く、リアルタイムで、権限を意識したコンテンツを提供します。
   3. スニペットサイズ：Glean は最大25,000文字のスニペットをサポートしているため、長い回答や詳細な回答を包括的に検索できます。
   4. 重複排除: 複数のクエリの結果は重複排除され、冗長なチャンクが削除され、クリーンな出力が得られます。
4. 再ランキング:
   
   1.  ニモレトリーバーがNVIDIA NIMを再ランク付けしました マイクロサービスは、関連性と正確性に基づいて、取得したコンテンツに優先順位を付けます。
5. 回答生成:
   
   1. お客様が選択した基本モデル（この場合はLlama 3.1）用のLLM NIMは、上位のコンテンツを使用して最終的な回答を合成します。
   2. 参考文献: 回答は、以下を使用したインライン引用で充実しています Nemo レトリーバー埋め込みマイクロサービス 透明性を保ち、完全な回答の下に資料を表示してアクセスしやすくします。

導入の柔軟性

Glean API と NVIDIA NIM は、高度な AI ソリューションを多様な環境に展開するための適応性の高いフレームワークを提供します。

• スケーラブルなクラウドデプロイ: どちらのプラットフォームも、AWSやGCPなどの主要なクラウドプロバイダーとシームレスに統合され、エンタープライズグレードのAIワークロードに必要なスケーラビリティとレジリエンスを企業に提供します。
• オンプレミス互換性: NVIDIA NIM は NVIDIA AI Enterprise スイートの一部として、導入オプションをオンプレミスのデータセンターにまで拡張し、組織が機密性の高い環境や規制された環境に最適化されたインフラストラクチャを活用できるようにします。Glean、オンプレミスのシステムに安全に接続することでこれを補完し、企業データへの統一されたアクセスを保証します。
• 最適化されたパフォーマンス: Gleanの効率的な検索メカニズムとNVIDIAのカスタマイズされた推論エンジンは、高スループットと低レイテンシーを保証し、最も要求の厳しいアプリケーションでも応答性の高いパフォーマンスを提供します。
• 統合アーキテクチャ: Glean と NVIDIA NIM は協力して、クラウドファースト、ハイブリッド、および特殊なオンプレミス戦略に適応する堅牢なソリューションを構築しています。これにより、組織は最先端のAIを自信を持って導入できます。

詳細については、次のサイトをご覧ください。 NVIDIA AI エンタープライズの概要 または探索 Gleanのデプロイメントオプション。

Glean API が提供する機能

Glean API は次の機能を提供することで、アーキテクチャ全体において重要な役割を果たします。

• コンテクスチュアル・ナレッジ・グラフ: Glean、構造化された企業データと構造化されていない企業データを索引付けするナレッジグラフを構築し、回答が信頼できる権限認識情報に基づいていることを確認しています。
• ファセットで検索: Glean Search API は、高度なフィルタリング機能 (日付、ドキュメントタイプ、ユーザーコンテキストなど) を提供し、ターゲットを絞ったクエリ応答を可能にします。
• ラージスニペットのサポート：Glean は最大25,000文字のコンテンツチャンクを取得するため、正確な回答を生成するための十分なコンテキストが確保されます。
• ユーザーとアクセスコンテキスト: Glean はユーザー権限とアクセス制御を統合し、許可されたコンテンツのみが応答に表示されるようにします。
• クエリ重複排除: 重複した結果は自動的に削除され、クリーンでユニークなデータが下流処理に提供されます。
• リアルタイムパフォーマンス: Glean API は、高スループットかつ低レイテンシーで応答を提供するため、本番環境でのスムーズなユーザーエクスペリエンスが保証されます。

カスタマーサポートボットGlean と NVIDIA を使用する理由

• 大規模環境での精度: NVIDIA の RAG ベースのアーキテクチャと Glean の豊富なナレッジグラフを組み合わせることで、質の高い応答が可能になります。
• エンタープライズグレードの AI: 企業のニーズに合わせた堅牢なセキュリティ、アクセス制御、データ重複排除機能を備えています。
• マルチモーダル機能: テキスト入力と画像入力の両方をサポートすることで、ボットの使いやすさが向上します。
• シームレスな統合: Glean API と NVIDIA NIM 推論マイクロサービスは簡単に連携できます。
• 民間インフラ管理: 組織は自社のインフラストラクチャにAIモデルを導入できるため、企業機密データ、プロンプト、知的財産をネットワーク内で安全に保ちながら、エンタープライズグレードのパフォーマンスとスケーラビリティを維持できます。

はじめに

その他の技術文書については、以下をご覧ください。

• NVIDIA NIM デプロイメントガイド
• NVIDIA Nemo レトリーバー NIM マイクロサービス‍
• GitHub で公開されている NVIDIA ジェネレーティブ AI のサンプル‍
• NVIDIA NIM と Glean を使ってエージェンシー AI を構築しましょう Gleanの開発者ポータルで

インテリジェントなサポートボットを構築する準備はできていますか？Glean API と NVIDIA NIM を今すぐ使い始めましょう。