Evaluating LLM Output Quality In Production
In maart 2023 identificeerde GPT-4 priemgetallen met een nauwkeurigheid van 97,6%. Tegen juni 2023 was de nauwkeurigheid van datzelfde model gedaald naar 2,4%. Niemand heeft de code aangepast. Niemand heeft de prompt aangepast. Het model is simpelweg verschoven.
Dit is het kernprobleem met LLM's in productie. Je hebt geen controle over het model. Het is een afhankelijkheid die drift. Als je het niet meet, zullen je gebruikers je vertellen dat het kapot is.
Je kunt niet vertrouwen op een "gevoel" of "het ziet er goed uit voor mij". Je hebt herhaalbare signalen nodig.
Traditionele software is deterministisch. Dezelfde input leidt tot dezelfde output. LLM's breken deze regel. Ze zijn niet-deterministisch en "correct" is vaak vaag.
Om dit te beheren, heb je drie lagen van evaluatie nodig:
- Offline evaluaties: Draai een vaste testset bij elke wijziging om regressies op te sporen.
- Referentievrije controles: Gebruik signalen zoals hallucinatie-detectie wanneer je geen "juist" antwoord hebt.
- Productiemonitoring: Houd echt verkeer in de gaten op drift en kwaliteitsverlies.
De basis is een Golden Dataset. Gebruik geen willekeurige steekproeven. Gebruik een gecureerde set van lastige gevallen. Gebruik lege inputs, vreemde edge cases en adversarial prompts. 80 scherpe voorbeelden zijn beter dan 8.000 willekeurige.
Let bij het gebruik van een LLM als rechter op deze biases:
- Position bias: Rechters geven vaak de voorkeur aan het eerste antwoord dat ze zien. Los dit op door vergelijkingen in beide volgordes uit te voeren.
- Verbosity bias: Rechters belonen langere antwoorden, zelfs als ze minder duidelijk zijn.
- Self-enhancement bias: Modellen geven de voorkeur aan tekst uit hun eigen familie. Gebruik verschillende model-families om outputs te beoordelen.
Gebruik voor realtime monitoring de RAG Triad om het volgende te controleren:
- Faithfulness: Blijft het antwoord trouw aan de context?
- Answer relevance: Beantwoordt het de vraag?
- Context relevance: Heeft het systeem de juiste documenten opgehaald?
Stop met het behandelen van modelkwaliteit als een vaste eigenschap. Behandel het als latentie of foutpercentages. Het verschuift. Jouw taak is om op te merken wanneer het niet meer goed is.
Begin klein. Schrijf 20 golden voorbeelden. Gebruik deze om je deployments te controleren. Voeg later goedkope productie-heuristieken toe.
De teams die goed slapen, zijn niet de teams met de slimste modellen. Het zijn de teams die binnen een uur weten of hun model dommer wordt.
Source: https://dev.to/nazar_boyko/evaluating-llm-output-quality-in-production-39an
Optional learning community: https://t.me/GyaanSetuAi