Come i laboratori giapponesi costruiscono sistemi RAG migliori
Il tuo database vettoriale restituisce chunk rilevanti. Il tuo modello di embedding ottiene punteggi elevati nei benchmark. Ma quando un utente pone una domanda complessa, il sistema fornisce una risposta inutile.
Questo è un fallimento dell'architettura di recupero (retrieval). Ottimizzare il tuo LLM non risolverà il problema.
Un team di ricerca giapponese ha trovato una soluzione. Hanno costruito un sistema RAG basato su un knowledge graph. Questo approccio ha migliorato l'accuratezza nei compiti scientifici del 90%.
Il problema del RAG standard è la similarità semantica. Un chunk sul ripiegamento proteico potrebbe sembrare simile a una query su CRISPR. Ma la similarità non significa rilevanza.
Il team giapponese utilizza le relazioni tra entità invece di semplici chunk di testo. Estraggono:
- Entità come proteine o ricercatori
- Relazioni come inibisce o cita
- Attributi come punteggi di confidenza
Utilizzano un processo in due fasi. Primo, identificano i sottografi rilevanti. Secondo, recuperano il testo ancorato a quelle entità. Questo impedisce la deriva semantica (semantic drift). Recuperi il contesto, non solo parole simili.
GraphRAG è più difficile da costruire rispetto al RAG standard. Hai bisogno di:
- Pipeline di estrazione delle entità
- Classificazione delle relazioni
- Infrastruttura di archiviazione dei grafi
- Motori di query ibridi
Il rischio maggiore è la manutenzione. I grafi "marciscono" se non vengono aggiornati. L'ho imparato a mie spese nel 2023. Ho costruito un sistema RAG legale con un'alta precisione, ma non sono riuscito a implementare un meccanismo di aggiornamento. Sei mesi dopo, i dati erano obsoleti. L'accuratezza è scesa dal 94% al 71%.
Come costruirlo correttamente:
- Inizia con una tassonomia delle entità. Scegli dai 20 ai 30 tipi importanti.
- Usa il recupero ibrido fin dal primo giorno. Usa i grafi per le relazioni e i vettori per gli argomenti.
- Costruisci prima la tua pipeline di manutenzione. Pianifica come i nuovi documenti aggiorneranno il grafo.
- Misura le catene di ragionamento. Monitora quanti passaggi compie il sistema per rispondere.
Se lavori nella scienza, nel diritto o in medicina, il costo della manutenzione ne vale la pena. Per le FAQ semplici, il RAG standard è sufficiente.
Chiediti questo: quale percentuale delle tue query riguarda le relazioni? Se più del 40% dei tuoi utenti chiede come le cose siano correlate, hai bisogno di un grafo.
Community di apprendimento opzionale: https://t.me/GyaanSetuAi