Een nieuwe WhatsApp-gebaseerde RAG (retrieval-augmented generation) assistent stopte met hallucineren door te eisen dat elk antwoord werd ondersteund door een JSON-gecodeerde citatie. Wanneer het model niet naar een specifiek tekstfragment (chunk) kon verwijzen, gaf het de melding: "Ik heb niet genoeg informatie om dit te beantwoorden", waardoor een zelfverzekerde leugenaar veranderde in een betrouwbaar "Ik weet het niet"-systeem.
Waarom vertrouwen belangrijk is bij RAG
De meeste tutorials over RAG zijn geobsedeerd door retrieval — het kiezen van embeddings, het opdelen van documenten in chunks en het herrangschikken (re-ranking) van resultaten. Ze slaan over wat er gebeurt nadat de relevante tekst is gevonden. Gebruikers verliezen het vertrouwen wanneer de assistent een definitief antwoord geeft dat de opgehaalde context feitelijk niet ondersteunt.
De kloof in zekerheid
In een prototype dat is gebouwd met PostgreSQL en de pgvector-extensie, was de retrieval-pipeline eenvoudig. De echte uitdaging ontstond in productie: het taalmodel klonk zeker, zelfs wanneer het opgehaalde fragment de benodigde informatie miste. Een demo kon het probleem verbergen, maar echte gebruikers legden de kloof bloot tussen zelfverzekerd klinken en daadwerkelijk correct zijn.