Comment les laboratoires japonais construisent de meilleurs systèmes RAG
Votre base de données vectorielle renvoie des segments pertinents. Votre modèle d'embedding obtient de bons scores aux benchmarks. Mais lorsqu'un utilisateur pose une question complexe, le système donne une réponse inutile.
Il s'agit d'un échec de l'architecture de récupération. Ajuster votre LLM ne résoudra pas le problème.
Une équipe de recherche japonaise a trouvé une solution. Ils ont construit un système RAG basé sur un graphe de connaissances. Cette approche a amélioré la précision sur les tâches scientifiques de 90 %.
Le problème du RAG standard est la similarité sémantique. Un segment sur le repliement des protéines peut sembler similaire à une requête sur CRISPR. Mais la similarité ne signifie pas la pertinence.
L'équipe japonaise utilise les relations entre entités plutôt que de simples segments de texte. Ils extraient :
- Des entités comme des protéines ou des chercheurs
- Des relations comme « inhibe » ou « cite »
- Des attributs comme des scores de confiance
Ils utilisent un processus en deux étapes. D'abord, ils identifient les sous-graphes pertinents. Ensuite, ils récupèrent le texte ancré à ces entités. Cela empêche la dérive sémantique. Vous récupérez du contexte, pas seulement des mots similaires.
GraphRAG est plus difficile à construire qu'un RAG standard. Vous avez besoin de :
- Pipelines d'extraction d'entités
- Classification des relations
- Infrastructure de stockage de graphes
- Moteurs de requête hybrides
Le plus grand risque est la maintenance. Les graphes se dégradent si vous ne les mettez pas à jour. Je l'ai appris à mes dépens en 2023. J'avais construit un système RAG juridique avec une grande précision. J'ai échoué à mettre en place un mécanisme de mise à jour. Six mois plus tard, les données étaient obsolètes. La précision est passée de 94 % à 71 %.
Comment bien le construire :
- Commencez par une taxonomie d'entités. Choisissez 20 à 30 types importants.
- Utilisez la récupération hybride dès le premier jour. Utilisez les graphes pour les relations et les vecteurs pour les sujets.
- Construisez d'abord votre pipeline de maintenance. Prévoyez comment les nouveaux documents mettront à jour le graphe.
- Mesurez les chaînes de raisonnement. Suivez le nombre d'étapes que le système effectue pour répondre.
Si vous travaillez dans les sciences, le droit ou la médecine, le coût de maintenance en vaut la peine. Pour des FAQ simples, le RAG standard suffit.
Posez-vous cette question : quel pourcentage de vos requêtes porte sur des relations ? Si plus de 40 % de vos utilisateurs demandent comment les choses sont liées, vous avez besoin d'un graphe.
Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi