𝗛𝗼𝗲 𝗝𝗮𝗽𝗮𝗻𝘀𝗲 𝗟𝗮𝗯𝘀 𝗕𝗲𝘁𝗲𝗿𝗲 𝗥𝗔𝗚-𝘀𝘆𝘀𝘁𝗲𝗺𝗲𝗻 𝗕𝗼𝘂𝘄𝗲𝗻
Je vectordatabase geeft relevante chunks terug. Je embedding-model scoort hoog op benchmarks. Maar wanneer een gebruiker een complexe vraag stelt, geeft het systeem een nutteloos antwoord.
Dit is een falen van de retrieval-architectuur. Het finetunen van je LLM zal dit niet oplossen.
Een Japans onderzoeksteam heeft een oplossing gevonden. Ze hebben een knowledge graph RAG-systeem gebouwd. Deze aanpak verbeterde de nauwkeurigheid bij wetenschappelijke taken met 90%.
Het probleem met standaard RAG is semantische gelijkenis. Een chunk over eiwitvouwing kan lijken op een zoekopdracht over CRISPR. Maar gelijkenis betekent niet hetzelfde als relevantie.
Het Japanse team gebruikt entiteitsrelaties in plaats van alleen tekstchunks. Ze extraheren:
- Entiteiten zoals eiwitten of onderzoekers
- Relaties zoals remt of citeert
- Attributen zoals confidence scores
Ze gebruiken een proces in twee fasen. Eerst identificeren ze relevante subgrafen. Daarna halen ze tekst op die verankerd is aan die entiteiten. Dit voorkomt semantic drift. Je haalt context op, niet alleen vergelijkbare woorden.
GraphRAG is moeilijker te bouwen dan standaard RAG. Je hebt nodig:
- Entity extraction-pipelines
- Relatieclassificatie
- Graph storage-infrastructuur
- Hybride query-engines
Het grootste risico is onderhoud. Grafen 'rotten' als je ze niet bijwerkt. Dit heb ik in 2023 op de harde manier geleerd. Ik bouwde een juridisch RAG-systeem met een hoge precisie. Ik faalde in het bouwen van een update-mechanisme. Zes maanden later waren de gegevens verouderd. De nauwkeurigheid daalde van 94% naar 71%.
Hoe je het goed aanpakt:
- Begin met een entiteitstaxonomie. Kies 20 tot 30 belangrijke types.
- Gebruik vanaf dag één hybride retrieval. Gebruik grafen voor relaties en vectoren voor onderwerpen.
- Bouw eerst je onderhoudspipeline. Plan hoe nieuwe documenten de graaf bijwerken.
- Meet reasoning chains. Houd bij hoeveel stappen het systeem nodig heeft om een antwoord te geven.
Als je werkt in de wetenschap, de juridische sector of de medische wereld, dan zijn de onderhoudskosten het waard. Voor eenvoudige FAQ's is standaard RAG voldoende.
Stel jezelf deze vraag: welk percentage van je zoekopdrachten gaat over relaties? Als meer dan 40% van je gebruikers vraagt hoe zaken met elkaar verband houden, heb je een graaf nodig.
Optionele leercommunity: https://t.me/GyaanSetuAi