Advanced RAG-Techniken sind nicht besser. Sie sind manchmal besser.

Fortgeschrittene RAG-Techniken sind keine kostenlosen Upgrades. Es sind Werkzeuge mit Kompromissen.

Ich habe fünf Retrieval-Methoden in einer RAG-Pipeline unter Verwendung der Anthropic-Dokumentation getestet. Ich wollte sehen, welche den zusätzlichen Komplexitätsaufwand tatsächlich rechtfertigen.

Hier ist, was ich herausgefunden habe:

• Dense Retrieval: Die Baseline. Es funktioniert gut, übersieht aber exakte Begriffe. • Hybrid Search: Nutzt Dense- plus Keyword-Suche. Sie findet exakte Begriffe, die Dense übersieht. Aber man muss die Ergebnisse korrekt gewichten, sonst geht das Signal verloren. • Reranking: Nutzt einen Cross-Encoder, um Kandidaten zu bewerten. Es hilft, wenn der richtige Chunk zu weit unten in den Ergebnissen vergraben ist. • HyDE: Nutzt eine hypothetische Antwort, um Daten zu finden. Das ist riskant. Es hilft bei unpräzisen Anfragen. Bei direkten Anfragen jedoch ruiniert es alles. Der Recall sank in einem Test von 0,80 auf 0,17. • Contextual Retrieval: Fügt Chunks Zusammenfassungen hinzu. Das hilft bei kurzen Chunks, verursacht aber höhere LLM-Kosten.

Die wichtigste Lektion betrifft HyDE. Es ist kein „Set-and-Forget“-Tool. Man sollte es nur verwenden, wenn die Nutzeranfrage und die eigenen Dokumente quasi unterschiedliche Sprachen sprechen. Man benötigt einen Router, um zu entscheiden, wann man es einsetzt.

Ich habe auch eine Lektion über die Messung gelernt.

Ich habe versucht, Ragas für die Evaluierung zu nutzen. Es war zu langsam. Es verbrachte Stunden damit, fehlgeschlagene Aufrufe erneut zu versuchen. Ich entschied mich, mein eigenes asynchrones Framework zu bauen. Statt 11 Stunden dauerte meine Evaluierung nur 221 Sekunden.

Behandeln Sie KI-Tools nicht als Black Boxes. Wenn ein Tool langsam ist oder fehlschlägt, schauen Sie sich die Mathematik dahinter an. Bauen Sie Ihre eigene Lösung, wenn es sein muss.

Bei der Arbeit geht es nicht nur darum, neue Features hinzuzufügen. Es geht darum, zu messen, welches Feature seinen Platz in Ihrem System verdient.

Zusammenfassung der Anwendungsfälle:

  • Hybrid: Nutzen, wenn Anfragen auf exakten Parametern basieren.
  • HyDE: Nutzen, wenn Anfragen schlecht formuliert sind.
  • Reranking: Nutzen, wenn das Retrieval breit gefächert, aber ungenau ist.
  • Contextual: Nutzen, wenn Ihren Chunks der Kontext fehlt.

Hören Sie auf, dem „State of the Art“ hinterherzujagen. Fangen Sie an, Ihre Ergebnisse zu messen.

Quelle: https://dev.to/yogesh23012001/advanced-rag-techniques-arent-better-theyre-better-sometimes-4m2o

Optionale Lern-Community: https://t.me/GyaanSetuAi