L'essor des grands modèles de langage (LLM) et de l'IA générative a ouvert la voie à des expériences de recherche plus affinées. Pour obtenir des réponses à leurs questions, les utilisateurs peuvent désormais dialoguer avec des chatbots IA comme ChatGPT et recevoir une réponse en quelques secondes, au lieu de passer des heures à parcourir de longues pages de résultats de recherche. Cependant, dans sa forme actuelle, le résultat des LLM ne repose pas sur des connaissances exactes et fiables, et peut parfois générer des réponses fondées sur des informations erronées ou biaisées. Pour remédier à cela, une solution consiste à intégrer un système de recherche qui fournit aux LLM des informations crédibles.
Heureusement, l'avènement des LLM a également profité à la recherche. La recherche vectorielle, qui utilise des embeddings dérivés de ces LLM, a introduit un nouveau niveau d'intelligence dans les systèmes de recherche. Dans cet article de blog, nous allons évaluer les offres d'embeddings de texte présentes sur le marché et montrer comment Glean crée des modèles d'embeddings avancés pour les entreprises en les affinant avec le langage spécifique à chaque entreprise. Ces modèles d'embeddings propres à chaque entreprise sont ensuite combinés à des méthodes traditionnelles de recherche d'information et à une personnalisation avancée afin de créer un système hybride qui élève les capacités de recherche d'entreprise.
Une introduction à la recherche vectorielle
Les embeddings sont des représentations numériques du texte qui en capturent les informations sémantiques, ce qui facilite la compréhension par les ordinateurs des relations entre les concepts. Contrairement aux méthodes traditionnelles de recherche d'information par correspondance de mots-clés, la recherche vectorielle exploite ces représentations pour fournir des résultats plus précis dans certains scénarios.
Pour comprendre les performances des embeddings dans la recherche d'entreprise, nous avons mené une expérience en utilisant les meilleurs embeddings de texte de deux fournisseurs de LLM de premier plan, ainsi que trois modèles open source les plus performants. L'expérience a évalué les performances de différents modèles d'embeddings de texte sur un ensemble d'évaluation de recherche d'entreprise. Pour évaluer l'efficacité de ces embeddings, nous avons utilisé deux indicateurs clés : NDCG@10 et R@100. Le NDCG@10 mesure la qualité des 10 premiers résultats de recherche en tenant compte à la fois de la pertinence et du classement, tandis que le R@100 évalue la capacité du système de recherche à récupérer des résultats pertinents, exprimée en pourcentage des 100 premiers résultats de recherche contenant des informations pertinentes.
Les résultats de notre expérience ont révélé que, pour cette tâche de recherche d'entreprise, les embeddings open source tels que E5-large, Instructor-XL et MPNet surpassaient encore les embeddings fournis par les fournisseurs d'API commerciales comme OpenAI (text-embedding-ada-002) et Cohere (large). Cela indique que, du moins dans ce cas d'usage spécifique, les embeddings open source restent un meilleur choix pour la recherche d'entreprise que les fournisseurs d'API commerciales. Cependant, l'IA progresse rapidement, et il sera fascinant d'observer comment ce domaine évoluera à l'avenir.
{{richtext-banner-component}}
Adapter la recherche vectorielle au langage de votre entreprise
Chez Glean, nous savons que la façon dont vous communiquez au sein de votre entreprise peut différer considérablement de celle d'autres entreprises. Par exemple, les entreprises utilisent souvent des acronymes spécifiques, des noms de code de projets ou des concepts techniques propres à leur activité, ce qui contribue à créer un langage entièrement endémique pour chaque lieu de travail et chaque secteur (médecine, juridique, banque, etc.). Ces termes et expressions peuvent ne pas être reconnus par les embeddings de texte génériques, et ainsi ne pas fournir les résultats souhaités dans la recherche d'entreprise.
C'est pourquoi nous avons développé une méthode pour affiner les embeddings au langage unique de nos clients, ce qui permet à chaque client de disposer de son propre grand modèle de langage personnalisé, performant dans n'importe quelle activité ou secteur. En d'autres termes, plus besoin d'ensembles d'entraînement sectoriels construits de toutes pièces ! Nos expériences démontrent que cet affinage dans le domaine améliore considérablement les performances de la recherche vectorielle, surpassant à la fois les fournisseurs d'API commerciales et les modèles open source les plus performants. Cela rejoint des recherches externes qui mettent en évidence les limites des méthodes de recherche vectorielle dense sur des données hors domaine.
Non seulement cette méthode améliore les performances de recherche initiales, mais nos recherches montrent également que plus un client reste longtemps avec nous, meilleur devient son modèle de langage. L'adaptation et l'affinage continus du modèle conduisent à une expérience utilisateur de plus en plus améliorée et à des résultats de recherche plus précis.
La recherche vectorielle comme composante de la recherche d'entreprise et de la découverte de connaissances modernes
Bien que la recherche vectorielle soit une technologie fondamentale pour la compréhension sémantique par les machines, elle ne suffit pas à elle seule à résoudre le problème de la fourniture de résultats de qualité dans la recherche d'entreprise et la découverte de connaissances. Glean utilise une approche multidimensionnelle en combinant la recherche vectorielle, la recherche par mots-clés traditionnelle et une personnalisation avancée au sein d'un puissant système de recherche hybride.
Envie de voir comment tout cela fonctionne ? Demander une démo dès aujourd'hui et découvrez comment nous révolutionnons la recherche pour les environnements d'entreprise.
