Jak japońskie laboratoria budują lepsze systemy RAG

Twoja baza danych wektorowych zwraca istotne fragmenty. Twój model embeddingowy uzyskuje wysokie wyniki w benchmarkach. Ale gdy użytkownik zadaje złożone pytanie, system udziela bezużytecznej odpowiedzi.

To błąd architektury wyszukiwania (retrieval). Dostrajanie (tuning) modelu LLM tego nie naprawi.

Japoński zespół badawczy znalazł rozwiązanie. Zbudowali system RAG oparty na grafie wiedzy (knowledge graph). To podejście poprawiło dokładność w zadaniach naukowych o 90%.

Problemem standardowego RAG jest podobieństwo semantyczne. Fragment o fałdowaniu białek może wydawać się podobny do zapytania o CRISPR. Ale podobieństwo nie oznacza istotności (relevance).

Japoński zespół wykorzystuje relacje między encjami zamiast samych fragmentów tekstu. Wyodrębniają:

  • Encje, takie jak białka czy naukowcy
  • Relacje, takie jak hamuje lub cytuje
  • Atrybuty, takie jak wskaźniki pewności (confidence scores)

Stosują proces dwuetapowy. Najpierw identyfikują istotne podgrafy. Następnie pobierają tekst zakotwiczony do tych encji. Zapobiega to dryfowi semantycznemu (semantic drift). Pobierasz kontekst, a nie tylko podobne słowa.

GraphRAG jest trudniejszy do zbudowania niż standardowy RAG. Potrzebujesz:

  • Potoków (pipelines) ekstrakcji encji
  • Klasyfikacji relacji
  • Infrastruktury do przechowywania grafów
  • Hybrydowych silników zapytań

Największym ryzykiem jest utrzymanie (maintenance). Grafy „gniją”, jeśli ich nie aktualizujesz. Nauczyłem się tego na własnej skórze w 2023 roku. Zbudowałem system RAG dla branży prawniczej o wysokiej precyzji. Nie udało mi się jednak stworzyć mechanizmu aktualizacji. Pół roku później dane były nieaktualne. Dokładność spadła z 94% do 71%.

Jak zbudować to poprawnie:

  • Zacznij od taksonomii encji. Wybierz od 20 do 30 ważnych typów.
  • Od pierwszego dnia stosuj hybrydowe wyszukiwanie (hybrid retrieval). Używaj grafów do relacji, a wektorów do tematów.
  • Najpierw zbuduj potok utrzymania (maintenance pipeline). Zaplanuj, jak nowe dokumenty będą aktualizować graf.
  • Mierz łańcuchy rozumowania (reasoning chains). Śledź, ile kroków system podejmuje, aby udzielić odpowiedzi.

Jeśli pracujesz w nauce, prawie lub medycynie, koszt utrzymania jest tego wart. W przypadku prostych sekcji FAQ wystarczy standardowy RAG.

Zadaj sobie to pytanie: Jaki procent Twoich zapytań dotyczy relacji? Jeśli ponad 40% Twoich użytkowników pyta o powiązania między rzeczami, potrzebujesz grafu.

Źródło: https://dev.to/xu_xu_b2179aa8fc958d531d1/how-japans-research-labs-are-building-rag-systems-that-actually-work-and-what-western-teams-keep-21b2

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi