𝗕𝗵𝗿𝗮𝗺ａలకు (Hallucinate) గురికాకుండా AI ఏజెంట్లను నిర్మించడం
చాలా AI ఏజెంట్లు ప్రొడక్షన్లో విఫలమవుతాయి. అవి ఫంక్షన్ పేర్లను సృష్టిస్తాయి. పారామీటర్లను తప్పుగా ఊహిస్తాయి. తప్పుడు టూల్స్ను పిలుస్తాయి.
ఫంక్షన్ కాలింగ్ (Function calling) దీనిని నిరోధించాల్సి ఉంటుంది. కానీ వాస్తవానికి, ఇది తరచుగా ఏజెంట్లు పెద్ద ఎత్తున తప్పు సమాచారాన్ని నమ్మకంగా చెప్పేలా చేస్తుంది.
దీనిని సరిచేయడానికి మీకు పెద్ద మోడల్స్ అవసరం లేదు. మీకు మెరుగైన ఆర్కిటెక్చర్ (architecture) అవసరం.
నమ్మకమైన ఏజెంట్లను నిర్మించడానికి ఈ నాలుగు పద్ధతులను అనుసరించండి:
టూ-స్టేజ్ రూటర్ (two-stage router) ఉపయోగించండి ఒకేసారి మోడల్కు 15 టూల్స్ను పంపకండి. దీనివల్ల స్కీమా బ్లోట్ (schema bloat) జరుగుతుంది. దానికి బదులుగా, ముందుగా ఉద్దేశ్యాన్ని (intent) వర్గీకరించడానికి వేగవంతమైన, తక్కువ ఖర్చుతో కూడిన మోడల్ను ఉపయోగించండి. ఉద్దేశ్యం తెలిసిన తర్వాత, కేవలం సంబంధిత టూల్స్ను మాత్రమే చూపండి. ఇది లోపాలను 60-70% తగ్గిస్తుంది.
స్ట్రక్చర్డ్ అవుట్పుట్లను (structured outputs) అమలు చేయండి ప్రాంప్ట్ల ద్వారా వాలిడ్ JSONని తిరిగి ఇవ్వమని మోడల్లను అడగడం ఆపండి. API స్థాయిలో స్కీమా ఎన్ఫోర్స్మెంట్ (schema enforcement) ఉపయోగించండి. 500 పదాల ప్రాంప్ట్ కంటే స్కీమా ఎప్పుడూ మెరుగ్గా పనిచేస్తుంది. ఇది మోడల్ మీ నియమాలను అనుసరిస్తుందని హామీ ఇస్తుంది.
వాలిడేషన్ లేయర్లను (validation layers) నిర్మించండి ప్రతి టూల్ కాల్కు మూడు దశలు అవసరం:
- ప్రీ-వాలిడేషన్ (Pre-validation)
- మోడల్ ఎగ్జిక్యూషన్ (Model execution)
- పోస్ట్-వాలిడేషన్ (Post-validation)
ఒకవేళ టూల్ కాల్ వాలిడేషన్లో విఫలమైతే, ఆ ఎర్రర్ను తిరిగి మోడల్కు పంపండి. మోడల్స్ తమ పారామీటర్ లోపాలను రెండో ప్రయత్నంలో 80% సార్లు సరిదిద్దుకుంటాయి.
- హార్డ్ లిమిట్లను (hard limits) సెట్ చేయండి అనంతమైన లూప్లు (infinite loops) మీ బడ్జెట్ను ఖర్చు చేస్తాయి. టైమ్ అవుట్ అయ్యే వరకు మోడల్ లూప్లో టూల్స్ను పిలుస్తూ ఉండవచ్చు. ఎల్లప్పుడూ గరిష్ట ఇటరేషన్ కౌంట్ను (maximum iteration count) సెట్ చేయండి. హార్డ్ లిమిట్లు ఒక అవసరం, ఎంపిక కాదు.
వివిధ పనుల కోసం వేర్వేరు మోడల్లను ఉపయోగించడం ద్వారా మీ ఖర్చులను ఆప్టిమైజ్ చేయండి:
- ఇంటెంట్ రూటింగ్ మరియు అవుట్పుట్ ఫార్మాటింగ్ కోసం చిన్న మోడల్లను ఉపయోగించండి.
- టూల్ ఎంపిక కోసం మిడ్-టియర్ (mid-tier) మోడల్లను ఉపయోగించండి.
- సంక్లిష్టమైన ప్లానింగ్ కోసం మాత్రమే ఫ్రంటియర్ (frontier) మోడల్లను ఉపయోగించండి.
ఈ విధానం నాణ్యతలో ఎటువంటి నష్టం లేకుండా ఖర్చులను 10x నుండి 15x వరకు తగ్గిస్తుంది.
నమ్మకమైన AI అనేది సిస్టమ్ డిజైన్కు సంబంధించినది. కన్స్ట్రైంట్స్ (constraints), వాలిడేషన్ మరియు ఆర్కెస్ట్రేషన్ (orchestration) పై దృష్టి పెట్టండి.
నమ్మకమైన ఏజెంట్లను నిర్మించడానికి మీరు ఏ పద్ధతులను ఉపయోగిస్తారు?
మూలం: https://dev.to/aiwave/building-ai-agents-that-dont-hallucinate-a-practical-guide-to-function-calling