Qu’est-ce que la recherche vectorielle ?

Dans le paysage numérique en constante évolution d’aujourd’hui, la demande de capacités de recherche efficaces et précises au sein de l’entreprise n’a jamais été aussi forte. Les décideurs et dirigeants comprennent le rôle crucial qu’une récupération d’informations efficace joue pour stimuler la productivité, la prise de décision et l’innovation. Une approche révolutionnaire qui transforme la manière dont les entreprises naviguent dans leurs vastes référentiels de données est la recherche vectorielle.

Qu’est-ce que la recherche vectorielle  ; ?

La recherche vectorielle est une technique de recherche qui récupère l’information en comprenant le sens d’une requête plutôt qu’en s’appuyant sur des mots-clés exacts. Contrairement à la recherche traditionnelle par mots-clés, qui dépend de correspondances exactes, la recherche vectorielle améliore le processus de recherche en fournissant des résultats plus pertinents, sans exiger une formulation précise.

Dans les moteurs de recherche traditionnels, les résultats sont récupérés en faisant correspondre des mots-clés exacts, considérés comme des jetons discrets ou des caractéristiques dans des documents ou des pages web. Par exemple, une requête comme «   ;voitures efficaces sur la neige  ; » peut passer à côté de résultats contenant des formulations telles que «   ;excellente adhérence sur routes verglacées  ; ». La recherche basée sur les vecteurs dépasse cette limite en se concentrant sur la similarité sémantique plutôt que sur des correspondances exactes de mots.

Cela est rendu possible grâce aux embeddings vectoriels, qui sont des représentations numériques des données. Un modèle de machine learning, également appelé modèle d’embedding, convertit des données textuelles, des images ou d’autres données non structurées en représentations vectorielles denses dans un espace vectoriel continu de grande dimension. Chaque vecteur de document représente le sens du contenu.

Lorsqu’un utilisateur saisit une requête, celle-ci est convertie en vecteur de requête à l’aide du même modèle. Le système de recherche vectorielle effectue ensuite une recherche par similarité en comparant les vecteurs à l’aide de métriques de distance comme la similarité cosinus. Il identifie les vecteurs similaires et récupère les résultats depuis l’index vectoriel.

Une base de données vectorielle gère ce processus de manière efficace. Elle stocke les embeddings et utilise un algorithme de recherche, souvent basé sur des techniques de plus proches voisins approximatifs, pour permettre une récupération efficace des résultats pertinents, même sur de grands ensembles de données. Cela rend la technologie de recherche vectorielle scalable par rapport aux méthodes de recherche traditionnelles dans de nombreuses applications modernes.

La recherche vectorielle prend également en charge plusieurs types de données, comme les données textuelles, la recherche d’images et l’audio, ce qui la rend adaptée au traitement des données non structurées. Cela permet aux systèmes de récupérer des documents et des points de données en fonction du sens, plutôt que de mots-clés exacts.

Dans les systèmes d’IA modernes, la recherche vectorielle joue un rôle important dans le framework de retrieval augmented generation (RAG). Elle fonctionne avec les grands modèles de langage pour récupérer des informations pertinentes depuis l’index d’une base de données vectorielle avant de générer des réponses. Cela améliore la précision et garantit des sorties adaptées au contexte.

La recherche vectorielle est également appelée recherche sémantique, recherche par similarité ou recherche des plus proches voisins. Tous ces termes décrivent le même processus  ; : mesurer la similarité entre vecteurs et récupérer les résultats les plus pertinents en fonction du sens.

‍

Évaluation comparative des performances de la recherche vectorielle

Nous avons mené une expérience rigoureuse comparant différents modèles d’embedding de texte afin de mesurer l’efficacité de la recherche vectorielle dans un contexte d’entreprise. Notre évaluation incluait des embeddings provenant de fournisseurs de LLM de premier plan ainsi que des modèles open source parmi les plus performants. Nous avons utilisé deux métriques clés pour évaluer la qualité des résultats de recherche et les performances de récupération  ; : NDCG@10 et R@10.

Fait surprenant, des embeddings open source comme E5-large, Instructor-XL et MPNet ont surpassé des fournisseurs d’API commerciales tels que OpenAI et Cohere dans ce cas précis. Cela met en évidence la supériorité actuelle des alternatives open source, mais il est important de noter que l’IA évolue rapidement.

Que sont les embeddings vectoriels  ; ?

Les embeddings vectoriels sont des représentations numériques des données et de leur contexte, également appelées représentations vectorielles. Ils sont stockés sous forme de vecteurs denses de grande dimension et sont générés à l’aide de modèles de machine learning entraînés sur de vastes ensembles de données. Ces embeddings capturent le sens sémantique des mots, des phrases, des images ou des documents, permettant aux systèmes de mesurer la similarité vectorielle et de produire des résultats de recherche plus pertinents.

En utilisant des embeddings vectoriels, les systèmes de recommandation peuvent analyser le comportement et les préférences des utilisateurs afin de proposer des suggestions personnalisées. Cela améliore l’expérience utilisateur dans l’e-commerce et les services de streaming.

Par exemple, considérons la phrase  ; : «   ;Comment réinitialiser mes identifiants SSO  ; ?  ; » Un modèle d’embedding convertit cela en un vecteur tel que [0.82, -0.14, 0.57, 0.33 …], composé généralement de centaines ou de milliers de valeurs. Ces valeurs représentent le sens de la phrase, pas seulement les mots exacts.

Chaque embedding agit comme une coordonnée dans un espace de grande dimension, où les contenus sémantiquement similaires sont positionnés plus près les uns des autres. Par exemple, «   ;Comment me reconnecter après l’expiration de mon mot de passe  ; ?  ; » se situerait près de la phrase précédente, même sans partager les mêmes mots-clés.

Dans un scénario réel, supposons qu’un système indexe des documents comme «   ;Étapes pour réinitialiser votre mot de passe Glean  ; », «   ;Dépannage de l’accès VPN après expiration des identifiants  ; » et «   ;Comment soumettre une demande de congés (PTO) dans le HRMS  ; ». Lorsqu’un utilisateur recherche «   ;Je n’arrive pas à me connecter  ; », la requête est convertie en vecteur et comparée aux embeddings stockés. Le système récupère les résultats les plus pertinents en fonction de la similarité, même sans correspondances exactes de mots-clés.

Comment les modèles d’embedding génèrent réellement ces nombres

Un modèle comme bidirectional encoder representations from transformers (BERT) ou un transformer moderne lit votre contenu dans son contexte complet. Il ne traite pas les mots comme des jetons isolés  ; : il comprend que «   ;Apple  ; » dans une conversation sur les iPhones correspond à quelque chose de complètement différent de «   ;Apple  ; » dans une recette. Le modèle a été entraîné sur d’immenses corpus de textes pour apprendre ces relations  ;ainsi, lorsqu’il traite les pages Confluence ou les fils Slack de votre entreprise, il comprend déjà le langage à un niveau sémantique.

Pour les images, la même logique s’applique via des réseaux de neurones convolutionnels. Une photo d’une baie de serveurs et un plan d’étage de data center seront encodés dans des embeddings proches, car le modèle a appris des concepts visuels, et pas seulement des motifs de pixels.

‍

Personnaliser la recherche vectorielle pour votre entreprise

Chez Glean, nous reconnaissons que chaque entreprise possède un langage et une terminologie propres à son domaine. Ce vocabulaire distinct, qui inclut des acronymes, des codes de projet et des concepts techniques, échappe souvent aux embeddings de texte génériques, ce qui conduit à des résultats de recherche sous-optimaux.

Pour relever ce défi, nous avons développé une méthode de fine-tuning. Elle personnalise les embeddings selon le langage propre à votre entreprise. Cette approche sur mesure garantit que votre recherche vectorielle comprend et retrouve des informations pertinentes sur le plan contextuel. Nos expériences ont systématiquement démontré la supériorité des embeddings fine-tunés sur des données du domaine, par rapport aux modèles prêts à l’emploi, qu’ils proviennent de fournisseurs d’API commerciales ou d’options open source.

De plus, nos travaux ont mis en évidence une tendance forte : plus votre entreprise utilise nos services, plus votre modèle de langage gagne en finesse et en précision. L’adaptation et le fine-tuning continu se traduisent par une expérience utilisateur toujours plus aboutie et des résultats de recherche plus précis.

‍

Comment fonctionne la recherche vectorielle

La recherche vectorielle fonctionne comme un pipeline, où chaque étape s’appuie sur la précédente. La qualité du résultat final dépend de la bonne exécution de chaque étape.

Un ingénieur support dans une entreprise SaaS demande : « Quelle était la cause racine de la panne de checkout de vendredi dernier ? »

Étape 1 : Ingestion des données

Tous les documents, tels que les postmortems d’incident, les fils Slack, les rétrospectives d’ingénierie et les runbooks, sont ingérés sous forme de contenu brut. Le système les nettoie et les convertit en texte brut afin qu’ils puissent être traités par le modèle d’embedding.

Étape 2 : Génération des embeddings

Chaque document est passé dans un modèle d’embedding tel que text-embedding-3-large. Le modèle le convertit en un vecteur dense de grande dimension du type [0.61, -0.22, 0.88 …], qui capture son sens sémantique, comme des échecs de paiement ou une dégradation d’API. Ces vecteurs sont stockés pour une récupération ultérieure.

Étape 3 : Indexation

Les vecteurs sont stockés dans un index vectoriel Hierarchical Navigable Small World. Cette structure basée sur un graphe regroupe les vecteurs similaires en voisinages connectés, ce qui permet une recherche rapide en reliant efficacement les points de données associés.

Étape 4 : Traitement des requêtes

La requête de l’ingénieur est passée dans le même modèle d’embedding et convertie en un vecteur de requête dans le même espace vectoriel. Cela garantit que documents et requêtes peuvent être comparés directement sur la base du sens.

Étape 5 : Recherche de similarité

À l’aide d’une recherche Approximate Nearest Neighbor, le système navigue dans le graphe pour trouver les vecteurs les plus pertinents. Au lieu de comparer avec chaque document, il explore rapidement les zones les plus prometteuses, réduisant l’espace de recherche de millions à quelques milliers de candidats en quelques millisecondes.

Étape 6 : Scoring et classement

Chaque candidat est scoré à l’aide de la similarité cosinus, qui mesure le degré d’alignement entre deux vecteurs. Des scores proches de 1 indiquent une similarité plus élevée. Le système classe les résultats, applique les vérifications de permissions et renvoie les documents les plus pertinents.

‍

La recherche vectorielle, pilier de la recherche d’entreprise moderne

Si la recherche vectorielle représente une évolution majeure dans la compréhension sémantique, elle ne constitue qu’une pièce du puzzle pour fournir des résultats de haute qualité en recherche d’entreprise. Glean adopte une approche multidimensionnelle en combinant la recherche vectorielle avec la recherche traditionnelle par mots-clés et une personnalisation avancée. Ce système de recherche hybride holistique offre une solution complète qui répond aux besoins variés de votre entreprise.

L’importance capitale d’une récupération efficace de l’information pour stimuler l’innovation et accélérer la croissance ne fait aucun doute. La recherche vectorielle est capable de combler le fossé entre les LLMs et des données fiables. Il s’agit d’une technologie transformatrice qui peut renforcer les capacités de recherche de votre entreprise.

Si vous souhaitez constater par vous-même la puissance de la recherche vectorielle pour révolutionner la fonction de recherche au sein de votre entreprise, nous vous invitons à planifier une démo personnalisée avec nous. Découvrez concrètement comment Glean redéfinit le paysage de la recherche d’entreprise et de la découverte des connaissances.