Ce qui distingue une excellente génération augmentée par la recherche — et pourquoi la recherche vectorielle ne suffit pas pour l’IA

0
minutes de lecture
Ce qui distingue une excellente génération augmentée par la recherche — et pourquoi la recherche vectorielle ne suffit pas pour l’IA

Table des matières

Vous avez des questions ou souhaitez une démo ?

Nous sommes là pour vous aider ! Cliquez sur le bouton ci-dessous et nous vous recontacterons.

Demander une démo
Partager cet article :

Depuis que l’IA générative et les LLMs occupent le devant de la scène dans le monde entier, les professionnels se demandent comment appliquer au mieux ces nouveaux outils révolutionnaires à leurs workflows. Pourtant, beaucoup se sont heurtés aux mêmes difficultés en tentant d’intégrer l’IA générative dans des environnements d’entreprise, comme des violations de confidentialité, un manque de pertinence, et le besoin d’une meilleure personnalisation des résultats obtenus.

Pour y répondre, la plupart ont conclu que la solution réside dans la retrieval augmented generation (RAG). La RAG dissocie la récupération de connaissances du processus de génération via des systèmes de découverte externes comme la recherche d’entreprise. Cela permet d’ancrer les LLMs et les réponses qu’ils fournissent dans des connaissances d’entreprise réelles et externes, facilement accessibles, traçables et référencées.  ;

La recherche vectorielle ou lexicale seule ne suffit pas

Maintenant que les entreprises comprennent que les solutions d’IA générative nécessitent une solution de récupération distincte, beaucoup se demandent — pourquoi ne pas simplement mettre notre contenu dans une base de données vectorielle et implémenter un prompt RAG simple  ; ? Malheureusement, la réponse n’est pas si simple, surtout lorsqu’il s’agit d’offrir une expérience réellement prête pour l’entreprise.  ;

Explorons brièvement le fonctionnement de la recherche vectorielle et des bases de données pour l’indexation et la récupération de données. Les modèles d’embedding associent efficacement un texte spécifique à un vecteur fixe de nombres — à partir d’un ensemble de mots, le modèle attribue une valeur numérique qui le représente dans la base de données. Ensuite, à partir du texte d’une requête, le système peut calculer à quel point le texte de la requête est « proche » des textes de documents préalablement indexés dans cet espace vectoriel, qu’il récupère ensuite pour les afficher dans les résultats.

Illustration du produit
Les modèles d’embedding associent le texte à un vecteur fixe de nombres

Cette étape devrait simplement servir de processus de récupération d’informations. Les LLMs sont ensuite utilisés strictement comme une couche de raisonnement pour appeler initialement le moteur de recherche/récupération, lire un contexte limité, puis synthétiser et générer des réponses cohérentes à partir des bonnes informations via la base de données vectorielle.  ;

Illustration du produit
Retrieval Augmented Generation (RAG)

Même si les progrès de la recherche vectorielle signalent une évolution fondamentale de la compréhension sémantique, ce n’est qu’une petite pièce du puzzle pour fournir des résultats de haute qualité en recherche d’entreprise. À elle seule, une recherche vectorielle simple est incapable de reconnaître les connexions plus complexes entre l’ensemble des contenus, des personnes et de l’activité au sein d’une organisation.  ;

Plus datés encore, les systèmes de recherche lexicale simples se contentent de faire correspondre les termes de la requête directement au contenu des documents et aux termes de métadonnées. Bien que faciles à mettre en œuvre, ils ne peuvent exploiter que des correspondances exactes de mots ou d’expressions dans une base de données, ce qui impose de fortes limites — en particulier face aux erreurs humaines lors de la formulation des requêtes.  ;

De meilleurs résultats avec la recherche hybride

À la place, les solutions s’appuyant sur un système de recherche hybride peuvent offrir le meilleur de tous les mondes. Par exemple, la solution RAG avancée de Glean comprend quatre différenciateurs techniques clés qui distinguent sa recherche hybride et sa solution d’IA générative  ; :

  • Framework de graphe de connaissances pour l’ensemble des données d’entreprise, avec des anchors et des signaux propriétaires qui alimentent la recherche
  • Crawler riche, robuste et scalable, connecté à l’ensemble des données d’entreprise et des règles d’autorisations
  • Niveaux de contrôle et d’optimisation du LLM vers l’interface de recherche de Glean
  • Optimisation de l’expérience utilisateur de bout en bout

Au cœur de la robustesse des résultats de Glean se trouve le knowledge graph — un réseau d’innombrables signaux et anchors qui contribuent à résoudre les problèmes auxquels un potentiel builder doit faire face. Ces facteurs permettent à Glean d’acquérir le contexte riche derrière l’ensemble des documents, des personnes et de l’activité au sein d’une organisation, et d’aider les modèles à mieux comprendre les informations dont ils ont besoin pour fournir d’excellents résultats. En termes simples, les signaux et les anchors sont comme les indices dont vous avez besoin pour résoudre une énigme. Plus une solution a de matière à exploiter, meilleur sera le résultat  ; !  ;

Par exemple, les signaux de Glean résolvent activement des problématiques de recherche individuelle et de personnalisation telles que  ; ;:  ;

  • Normalisation (tokenization, stemming, lemmatization)
  • Synonymie (mining, scoring contextuel, acronymes)
  • Annotation structurée (extraction et scoring de concepts et d’entités)
  • Internationalisation
  • Classification d’intention
  • Compréhension des documents (termes saillants, modélisation de sujets, gestion des templates, classification de documents)
  • Récupération et topicalité (recherche sémantique, pondération des termes, optionalization, mélange de termes, anchors, clickboost, optimisation hybride)
  • Popularité (personnalisation, obsolescence/fraîcheur, modélisation par département)
  • Etc…
Illustration du produit
D’innombrables anchors et signaux aident à construire des knowledge graphs uniques pour chaque entreprise

Quelle est donc la différence notable entre un système doté d’une solution RAG avancée et un autre qui n’en a pas  ; ? Regardons rapidement un exemple de résultats générés.  ;

Chez Glean, Scholastic

sert d’approche pour intégrer la recherche sémantique dans des piles de classement, en mettant l’accent sur la récupération et le scoring à partir des titres, des ancres et des en-têtes. Voyons ce qu’une solution RAG standard pourrait répondre, comparée à Glean, lorsqu’on l’interroge sur Scholastic:  ;

Standard (Vectoriel, RAG simple)
Q : Qu’est-ce que Scholastic ?
A : Scholastic, situé à New York City, New York, est un éditeur et distributeur de livres pour enfants, de technologies éducatives et de services associés…

Glean (Hybride, RAG complexe)
Q : Qu’est-ce que Scholastic ?
A : Scholastic est notre système d’apprentissage de récupération et de scoring basé sur des vecteurs (un clin d’œil à notre système basé sur les mots-clés, Elastic). Il apprend des embeddings d’éléments pour les documents et les messages, puis récupère / score les plus proches voisins pour une requête donnée...

La réponse standard est totalement hors sujet pour une requête en entreprise, tandis que la réponse de Glean comprend la mission et fournit exactement ce que l’utilisateur recherche.

Qu’il s’agisse de réponses fournies par l’IA générative ou de résultats issus d’un moteur de recherche, les solutions RAG hybrides et complexes, enrichies par des réseaux de signaux et d’ancres, donnent de manière indiscutable de meilleurs résultats que des solutions de recherche lexicale ou vectorielle incomplètes. La capacité à utiliser des données propriétaires comme clés et indices pour affiner les modèles apporte la contextualisation riche dont les environnements d’entreprise ont besoin de la part des solutions de recherche et d’IA générative.

Illustration du produit
Les données propriétaires sont essentielles pour l’affinage et les scores d’embedding

Dans le domaine de la recherche d’entreprise, il est également évident que s’appuyer uniquement sur la recherche vectorielle ou sémantique ne donne pas toujours les résultats les plus optimaux. C’est particulièrement vrai dans les scénarios où la précision est indispensable — par exemple lors de la recherche de termes, de documents ou de mots-clés spécifiques. La recherche vectorielle, avec son flou inhérent, peut ne pas correspondre au niveau de précision requis dans ces cas.

Illustration du produit
Pour que l’IA réussisse, il faut des signaux et des ancres — pas seulement des données brutes

Chez Glean, nos capacités de recherche lexicale se distinguent également grâce à la robustesse de nos données. Cette force nous permet non seulement d’associer les requêtes avec une grande précision, mais aussi de personnaliser les résultats au milieu d’une multitude de correspondances potentielles. L’approche de recherche hybride qu’emploie Glean combine le meilleur des deux mondes, en tirant parti de la précision de la recherche lexicale et de la compréhension nuancée de la recherche vectorielle — le tout, alimenté par le contexte et les subtilités supplémentaires fournis par les signaux et les ancres au sein de notre graphe de connaissances.  ;

Et pour couronner le tout, la capacité de Glean à relier les LLMs à notre interface de recherche propriétaire nous permet de gérer beaucoup plus élégamment les échecs de recherche et de récupération. Les LLMs intégrés à notre interface de recherche traitent les échecs de recherche et de récupération avec bien plus de finesse. Par exemple, la plupart des solutions tierces, confrontées à une question à laquelle elles ne peuvent pas répondre correctement, fournissent souvent des informations de mauvaise qualité, ni récentes ni pertinentes.  ;

Avec Glean, en revanche, les LLMs reçoivent le contexte supplémentaire dont ils ont besoin pour expliciter les réserves et les précautions. Ces informations additionnelles permettent à l’IA de donner aux collaborateurs les éléments nécessaires pour engager les prochaines étapes, ou mieux comprendre pourquoi les informations qu’ils reçoivent peuvent être incomplètes.

Illustration du produit
Le graphe de connaissances de Glean apporte un contexte supplémentaire pour les résultats obsolètes

La meilleure voie à suivre

Si vous cherchez à garder une longueur d’avance en exploitant dès maintenant le potentiel de l’IA générative, Glean est la meilleure façon d’y parvenir. Glean prend toujours en compte les autorisations, et fournit des résultats pertinents et personnalisés, à jour et actuels, tout en étant universellement compatible avec vos applications les plus utilisées.  ;

Boostez la productivité de votre équipe avec une solution d’IA générative réellement prête pour l’entreprise. Inscrivez-vous pour une démo dès aujourd’hui !

Illustration du produit

Work AI qui fonctionne.

CTA Background Gradient 3CTA Background Gradient 3CTA Background Mobile