Qu’est-ce que la recherche vectorielle ?

Dans le paysage numérique en constante évolution d'aujourd'hui, la demande de capacités de recherche efficaces et précises au sein de l'entreprise n'a jamais été aussi forte. Les décideurs et dirigeants comprennent le rôle essentiel que joue une récupération efficace de l'information pour stimuler la productivité, la prise de décision et l'innovation. Une approche révolutionnaire qui transforme la manière dont les entreprises naviguent dans leurs vastes référentiels de données est la recherche vectorielle.

Qu'est-ce que la recherche vectorielle ?

La recherche vectorielle est une technique de recherche qui récupère l'information en comprenant le sens d'une requête plutôt qu'en s'appuyant sur des mots-clés exacts. Contrairement à la recherche par mots-clés traditionnelle, qui dépend de correspondances exactes, la recherche vectorielle améliore le processus de recherche en fournissant des résultats plus pertinents sans nécessiter de formulation précise.

Dans les moteurs de recherche traditionnels, les résultats sont récupérés en faisant correspondre des mots-clés exacts, qui sont traités comme des jetons ou des caractéristiques distincts dans les documents ou les pages web. Par exemple, une requête comme « voitures performantes sur la neige » pourrait passer à côté de résultats contenant des expressions telles que « excellente adhérence sur les routes verglacées ». La recherche vectorielle surmonte cette limite en se concentrant sur la similarité sémantique plutôt que sur les correspondances exactes de mots.

Cela est rendu possible grâce aux embeddings vectoriels, qui sont des représentations numériques des données. Un modèle de machine learning, également appelé modèle d'embedding, convertit les données textuelles, les images ou d'autres données non structurées en représentations vectorielles denses dans un espace vectoriel continu de grande dimension. Chaque vecteur de document représente le sens du contenu.

Lorsqu'un utilisateur saisit une requête, celle-ci est convertie en vecteur de requête à l'aide du même modèle. Le système de recherche vectorielle effectue ensuite une recherche de similarité en comparant les vecteurs à l'aide de métriques de distance telles que la similarité cosinus. Il identifie les vecteurs similaires et récupère les résultats depuis l'index vectoriel.

Une base de données vectorielle gère ce processus de manière efficace. Elle stocke les embeddings et utilise un algorithme de recherche, souvent basé sur des techniques de plus proches voisins approximatifs, pour permettre une récupération efficace de résultats pertinents, même sur de grands ensembles de données. Cela rend la technologie de recherche vectorielle évolutive par rapport aux méthodes de recherche traditionnelles dans de nombreuses applications modernes.

La recherche vectorielle prend également en charge plusieurs types de données, tels que les données textuelles, la recherche d'images et l'audio, ce qui la rend adaptée au traitement des données non structurées. Cela permet aux systèmes de récupérer des documents et des points de données en fonction du sens plutôt que des mots-clés exacts.

Dans les systèmes d'IA modernes, la recherche vectorielle joue un rôle important dans le cadre de la génération augmentée par récupération (RAG). Elle fonctionne avec des grands modèles de langage pour récupérer les informations pertinentes depuis un index de base de données vectorielle avant de générer des réponses. Cela améliore la précision et garantit des sorties adaptées au contexte.

La recherche vectorielle est également appelée recherche sémantique, recherche de similarité ou recherche des plus proches voisins. Tous ces termes décrivent le même processus de mesure de la similarité vectorielle et de récupération des résultats les plus pertinents en fonction du sens.

‍

Évaluation des performances de la recherche vectorielle

Nous avons mené une expérience rigoureuse comparant divers modèles d'embedding de texte afin d'évaluer l'efficacité de la recherche vectorielle dans un contexte d'entreprise. Notre évaluation incluait des embeddings provenant de fournisseurs de LLM de premier plan et de modèles open-source très performants. Nous avons utilisé deux métriques clés pour évaluer la qualité des résultats de recherche et les performances de récupération : NDCG@10 et R@10.

Étonnamment, les embeddings open-source comme E5-large, Instructor-XL et MPNet ont surpassé les fournisseurs d'API commerciaux tels qu'OpenAI et Cohere dans ce cas précis. Cela met en évidence la supériorité persistante des alternatives open-source, mais il est important de noter que l'IA évolue rapidement.

Que sont les embeddings vectoriels ?

Les embeddings vectoriels sont des représentations numériques des données et de leur contexte, également appelées représentations vectorielles. Ils sont stockés sous forme de vecteurs denses de grande dimension et sont générés à l'aide de modèles de machine learning entraînés sur de grands ensembles de données. Ces embeddings capturent le sens sémantique des mots, des phrases, des images ou des documents, permettant aux systèmes de mesurer la similarité vectorielle et de produire des résultats de recherche plus pertinents.

En utilisant des embeddings vectoriels, les systèmes de recommandation peuvent analyser le comportement et les préférences des utilisateurs pour fournir des suggestions personnalisées. Cela améliore l'expérience utilisateur dans le e-commerce et les services de streaming.

Par exemple, considérons la phrase : « Comment réinitialiser mes identifiants SSO ? » Un modèle d'embedding la convertit en un vecteur tel que [0.82, -0.14, 0.57, 0.33 …], généralement composé de centaines ou de milliers de valeurs. Ces valeurs représentent le sens de la phrase, et non uniquement les mots exacts.

Chaque embedding agit comme une coordonnée dans un espace de grande dimension, où le contenu sémantiquement similaire est positionné plus près les uns des autres. Par exemple, « Comment me reconnecter après l'expiration de mon mot de passe ? » serait situé à proximité de la phrase précédente, même sans partager les mêmes mots-clés.

Dans un scénario réel, supposons qu'un système indexe des documents tels que « Étapes pour réinitialiser votre mot de passe Glean », « Résolution des problèmes d'accès VPN après l'expiration des identifiants » et « Comment soumettre une demande de congé dans le SIRH ». Lorsqu'un utilisateur recherche « Je n'arrive pas à me connecter », la requête est convertie en vecteur et comparée aux embeddings stockés. Le système récupère les résultats les plus pertinents en fonction de la similarité, même sans correspondance exacte de mots-clés.

Comment les modèles d'embedding génèrent réellement ces chiffres

Un modèle comme BERT (bidirectional encoder representations from transformers) ou un transformer moderne lit votre contenu dans son contexte complet. Il ne traite pas les mots comme des jetons isolés ; il comprend que « Apple » dans une conversation sur les iPhones correspond à un endroit complètement différent de « Apple » dans une recette. Le modèle a été entraîné sur d'immenses ensembles de données textuelles pour apprendre ces relations, de sorte qu'au moment où il traite les pages Confluence ou les fils de discussion Slack de votre entreprise, il comprend déjà le langage à un niveau sémantique.

Pour les images, la même logique s'applique via les réseaux de neurones convolutifs. Une photo d'une baie de serveurs et un plan d'un centre de données seront intégrés à proximité l'un de l'autre, car le modèle a appris des concepts visuels, et non uniquement des motifs de pixels.

‍

Personnaliser la recherche vectorielle pour votre entreprise

Chez Glean, nous reconnaissons que chaque entreprise possède un langage et une terminologie propres à son domaine. Ce vocabulaire distinct, qui inclut des acronymes, des codes de projet et des concepts techniques, échappe souvent aux embeddings de texte génériques, ce qui entraîne des résultats de recherche sous-optimaux.

Pour relever ce défi, nous avons développé une méthode de fine-tuning. Elle adapte les embeddings au langage propre à votre entreprise. Cette approche sur mesure garantit que votre recherche vectorielle comprend et récupère des informations contextuellement pertinentes. Nos expériences ont systématiquement démontré la supériorité des embeddings affinés dans le domaine par rapport aux modèles prêts à l'emploi, qu'ils proviennent de fournisseurs d'API commerciales ou de solutions open source.

De plus, nos recherches ont révélé une tendance marquante : plus votre entreprise utilise nos services longtemps, plus votre modèle de langage devient affiné et précis. L'adaptation et le fine-tuning continu se traduisent par une expérience utilisateur toujours meilleure et des résultats de recherche plus précis.

‍

Comment fonctionne la recherche vectorielle

La recherche vectorielle fonctionne comme un pipeline où chaque étape s'appuie sur la précédente. La qualité du résultat final dépend de la bonne exécution de chaque étape.

Un ingénieur d'assistance dans une entreprise SaaS demande : « Quelle était la cause profonde de la panne du processus de paiement vendredi dernier ? »

Étape 1 : ingestion des données

Tous les documents, tels que les post-mortems d'incidents, les fils de discussion Slack, les rétrospectives d'ingénierie et les runbooks, sont ingérés sous forme de contenu brut. Le système les nettoie et les convertit en texte brut afin qu'ils puissent être traités par le modèle d'embedding.

Étape 2 : génération d'embeddings

Chaque document passe par un modèle d'embedding tel que text-embedding-3-large. Le modèle le convertit en un vecteur dense à haute dimension comme [0.61, -0.22, 0.88 …], capturant son sens sémantique, par exemple des échecs de paiement ou une dégradation d'API. Ces vecteurs sont stockés pour une récupération ultérieure.

Étape 3 : indexation

Les vecteurs sont stockés dans un index vectoriel Hierarchical Navigable Small World. Cette structure basée sur un graphe regroupe des vecteurs similaires en voisinages connectés, permettant une recherche rapide en reliant efficacement les points de données associés.

Étape 4 : traitement de la requête

La requête de l'ingénieur passe par le même modèle d'embedding et est convertie en un vecteur de requête dans le même espace vectoriel. Cela garantit que les documents et les requêtes peuvent être comparés directement en fonction de leur sens.

Étape 5 : recherche de similarité

À l'aide de la recherche Approximate Nearest Neighbor, le système navigue dans le graphe pour trouver les vecteurs les plus pertinents. Au lieu de comparer chaque document, il explore rapidement les régions les plus prometteuses, réduisant l'espace de recherche de plusieurs millions à quelques milliers de candidats en quelques millisecondes.

Étape 6 : notation et classement

Chaque candidat est noté à l'aide de la similarité cosinus, qui mesure le degré d'alignement entre deux vecteurs. Les scores proches de 1 indiquent une similarité plus élevée. Le système classe les résultats, applique des contrôles d'autorisation et renvoie les documents les plus pertinents.

‍

La recherche vectorielle, pilier de la recherche d'entreprise moderne

Si la recherche vectorielle représente un changement fondamental dans la compréhension sémantique, elle n'est qu'une pièce du puzzle pour fournir des résultats de haute qualité dans la recherche d'entreprise. Glean adopte une approche multidimensionnelle en combinant la recherche vectorielle avec la recherche traditionnelle par mots-clés et une personnalisation avancée. Ce système de recherche hybride holistique offre une solution complète qui répond aux besoins variés de votre entreprise.

L'importance capitale d'une récupération efficace de l'information pour favoriser l'innovation et stimuler la croissance est indéniable. La recherche vectorielle a la capacité de combler le fossé entre les LLM et des données fiables. C'est une technologie transformatrice qui peut élever les capacités de recherche de votre entreprise.

Si vous souhaitez constater la puissance de la recherche vectorielle pour révolutionner la fonction de recherche au sein de votre entreprise, nous vous invitons à planifier une démo personnalisée avec nous. Découvrez par vous-même comment Glean redéfinit le paysage de la recherche d'entreprise et de la découverte des connaissances.