La magie des embeddings
Les embeddings transforment le langage en mathématiques.
Ils sont le fondement de l'IA moderne. Beaucoup les considèrent comme une boîte noire. Cet article explique leur fonctionnement.
La recherche par mots-clés échoue lorsque les mots ne correspondent pas.
Si vous recherchez « Comment réinitialiser mon mot de passe ? », une recherche par mots-clés cherchera ces mots exacts. Si un document indique « Étapes pour récupérer vos identifiants de compte », la recherche pourrait échouer. Vous savez que le sens est le même. Les ordinateurs, non.
Les embeddings résolvent ce problème.
Un embedding est une liste de nombres. Ces nombres représentent le sens du texte. Un modèle d'embedding projette les mots dans un espace de grande dimension.
Un mot unique comme « chat » devient un vecteur : [0.18, -0.42, 0.91, ...]
Les nombres seuls ne signifient rien. Ce qui importe, c'est la position du vecteur.
Imaginez une carte. Les villes proches les unes des autres partagent des climats et des frontières similaires. Les embeddings fonctionnent de la même manière. Les textes ayant des sens similaires se situent proches les uns des autres dans l'espace vectoriel.
- Le chien et le chat sont proches.
- La voiture et le camion sont proches.
- La voiture et le chien sont éloignés.
La distance entre ces points représente la similarité.
Cela permet la recherche sémantique. Vous pouvez trouver des informations basées sur l'intention plutôt que sur l'orthographe.
Pour comparer ces vecteurs, nous utilisons la similarité cosinus. Cette métrique mesure l'angle entre deux vecteurs.
- Un angle faible signifie une grande similarité.
- Un angle important signifie une faible similarité.
Les embeddings alimentent également la génération augmentée par récupération (RAG). Dans un pipeline RAG, le processus se déroule comme suit :
- Convertir les documents en vecteurs à l'aide d'un modèle d'embedding.
- Stocker les vecteurs dans une base de données vectorielle.
- Convertir la requête de l'utilisateur en un vecteur.
- Trouver les vecteurs les plus proches dans la base de données.
- Envoyer les documents pertinents au LLM.
Le LLM ne recherche pas directement dans vos fichiers. Il parcourt l'espace des embeddings pour trouver les correspondances les plus proches.
Si vous développez des applications d'IA, vous devez comprendre les embeddings. Ils sont au cœur de tout, des moteurs de recherche aux systèmes de recommandation. Leur force réside dans la manière dont ils organisent le sens.
Source : https://dev.to/tahaboussaden/embeddings-magic-2hlb
Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi