WhatsApp RAG-Bot verhindert Halluzinationen durch das Erzwingen von JSON-Zitaten

Ein neuer WhatsApp-basierter RAG-Assistent (Retrieval-Augmented Generation) hat das Halluzinieren gestoppt, indem er verlangte, dass jede Antwort durch eine JSON-kodierte Zitierung belegt wird. Wenn das Modell nicht auf ein spezifisches Chunk verweisen konnte, gab es die Antwort „Ich habe nicht genügend Informationen, um das zu beantworten“ aus – und verwandelte so einen selbstbewussten Lügner in ein vertrauenswürdiges „Ich weiß es nicht“-System.

Warum Vertrauen in RAG entscheidend ist

Die meisten RAG-Tutorials konzentrieren sich obsessiv auf das Retrieval – die Wahl von Embeddings, das Zerschneiden von Dokumenten in Chunks und das Re-Ranking der Ergebnisse. Dabei wird übersprungen, was passiert, nachdem der relevante Text gefunden wurde. Nutzer verlieren das Vertrauen, wenn der Assistent eine definitive Antwort gibt, die der abgerufene Kontext eigentlich nicht stützt.

Die Lücke zwischen Selbstbewusstsein und Korrektheit

In einem Prototyp, der mit PostgreSQL und der pgvector-Erweiterung erstellt wurde, war die Retrieval-Pipeline unkompliziert. Die eigentliche Herausforderung trat in der Produktion auf: Das Sprachmodell klang sicher, selbst wenn das abgerufene Snippet nicht über die benötigten Informationen verfügte. Eine Demo konnte das Problem verbergen, aber echte Nutzer legten die Lücke zwischen einem selbstbewussten Auftreten und der tatsächlichen Korrektheit offen.

Durchsetzung von Zitaten mittels JSON

Anstatt das Modell mit Prompts wie „Antworte nur, wenn du Kontext hast“ zu überreden, änderte der Autor das Ausgabeformat. Das System verlangt nun ein JSON-Objekt, bei dem jede Behauptung einen Verweis auf das exakte Chunk enthält, das sie stützt. Wenn das Modell keine Zitierung anhängen kann, wird die Antwort abgelehnt und der Nutzer erhält eine klare „Ich weiß es nicht“-Meldung.

Die Durchsetzung verlagerte sich von Anweisungen in natürlicher Sprache hin zur Schema-Validierung. Das Modell generiert zwar weiterhin Text, aber der umgebende Code prüft, ob das JSON der erforderlichen Struktur entspricht, bevor es den Nutzer erreicht.

Was sich geändert hat

• Das Chunking wurde konservativer. Vage oder zu weit gefasste Chunks erzeugen nun Behauptungen ohne Zitierungen, was den „Ich weiß es nicht“-Fallback auslöst.
• Der System-Prompt wurde gekürzt. Der schwerfällige Prompt, der versuchte, das Verhalten des Modells zu kontrollieren, wurde durch einen kurzen Anweisungssatz ersetzt, sodass das Schema die Hauptarbeit übernimmt.
• Fehler sind sichtbar. Wenn das Retrieval irrelevantes Material liefert, kaschiert der Assistent den Fehler nicht mehr mit einer selbstbewussten, aber falschen Antwort; er gibt Unsicherheit offen zu.

Fazit: Bei RAG-Assistenten schafft die Garantie, dass jede Behauptung auf eine abgerufene Quelle zurückgeführt werden kann, zuverlässigeres Nutzervertrauen, als wenn man nur den Retrieval-Schritt optimiert. Indem fehlende Zitierungen in ein sichtbares „Ich weiß es nicht“ umgewandelt werden, ermöglichen Entwickler dem System, seine Grenzen einzugestehen, anstatt Antworten zu erfinden.