𝗕𝘂𝗶𝗹𝗱𝗶𝗻𝗴 𝗧𝗵𝗲 𝗣𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻 𝗔𝗴𝗲𝗻𝘁 𝗟𝗼𝗼𝗽
డెమో ఏజెంట్ను నిర్మించడం సులభం. ప్రొడక్షన్ ఏజెంట్ను నిర్మించడం కష్టం.
డెమోలో, లూప్ చాలా సరళంగా ఉంటుంది: గమనించడం (observe), నిర్ణయించడం (decide), పనిచేయడం (act), తనిఖీ చేయడం (check), మళ్ళీ చేయడం (repeat). మోడల్ ఒక ఫలితాన్ని చూసి తదుపరి దశకు వెళ్తుంది.
ప్రొడక్షన్లో, అదే లూప్కు కఠినమైన నియమాలు అవసరం. ప్రొడక్షన్ ఏజెంట్ అంటే కేవలం ఒక మోడల్ మరియు కొన్ని టూల్స్ మాత్రమే కాదు. అది దానిని ఖచ్చితంగా ఉంచడానికి ఒక నిర్మాణంలో (structure) చుట్టబడిన లూప్.
టూల్ రెస్పాన్స్లను (tool responses) నమ్మడమే అతిపెద్ద ఉచ్చు.
ఒక ఏజెంట్ ఆర్డర్ను రద్దు చేసి, రీఫండ్ను జారీ చేయాల్సి ఉందని ఊహించండి.
- ఏజెంట్
cancel_orderని పిలుస్తుంది. - టూల్
200 OKని తిరిగి ఇస్తుంది. - ఏజెంట్ వెంటనే
issue_refundని పిలుస్తుంది.
డెమోలో, ఇది పనిచేస్తుంది. ప్రొడక్షన్లో, ఇది విపత్తుకు దారితీస్తుంది.
200 OK అంటే తరచుగా రిక్వెస్ట్ అంగీకరించబడింది అని అర్థం, పని పూర్తయింది అని కాదు. రద్దు ప్రక్రియ ఇంకా క్యూలో పెండింగ్లో ఉండవచ్చు. రద్దు ఖరారయ్యేలోపు ఏజెంట్ రీఫండ్ను జారీ చేస్తే, మీరు కేవలం ఊహ ఆధారంగా డబ్బును బదిలీ చేసినట్లు అవుతుంది.
మీరు ఒక నియమాన్ని తప్పనిసరిగా పాటించాలి: ఒక టూల్ రెస్పాన్స్ అనేది రిక్వెస్ట్ను వివరిస్తుంది, కానీ అది తప్పనిసరిగా ప్రపంచ స్థితిని (world state) ప్రతిబింబించకపోవచ్చు.
సురక్షితమైన ప్రొడక్షన్ లూప్ను నిర్మించడానికి, మీకు ఈ క్రింది అంశాలు అవసరం:
• Tool Contracts: ప్రతి టూల్ దాని ఇన్పుట్, అవుట్పుట్, ఫెయిల్యూర్ మోడ్స్ మరియు ఒక idempotency keyని నిర్వచించాలి. • Verification Gates: టూల్ సక్సెస్ కోడ్ను తిరిగి ఇచ్చిందో లేదో మాత్రమే చూడకండి. మార్పు నిజంగా జరిగిందో లేదో నిర్ధారించుకోవడానికి ప్రపంచంలోని వాస్తవ స్థితిని (actual state of the world) మళ్ళీ తనిఖీ చేయండి. • Working State: వాస్తవాలను చాట్ హిస్టరీ నుండి వేరుగా ఉంచండి. ఇది సంభాషణ టెక్స్ట్ ఆధారంగా ఏజెంట్ భ్రమలకు (hallucinating) లోనుకాకుండా నిరోధిస్తుంది. • Approval Gates: అధిక రిస్క్ ఉన్న పనుల కోసం ఉద్దేశ్యాన్ని (intent) ధృవీకరించడానికి మనుషులను ఉపయోగించండి. • Stop Rules: నియంత్రణ కోల్పోయిన లూప్లను (runaway loops) నిరోధించడానికి స్టెప్స్, ఖర్చు, సమయం మరియు సైలెన్స్ (silence) పై పరిమితులను విధించండి.
లూప్ నిర్మాణం మారదు. దాని అమలు (implementation) మరింత కఠినంగా మారుతుంది.
ముఖ్యమైన పనుల కోసం, మీ "check" దశలో రెండు భాగాలు ఉండాలి:
- Verify: ప్రపంచం నిజంగా ఆశించిన విధంగా మారిందా?
- Commit: అది ఖరారైన తర్వాత, తదుపరి దశకు వెళ్లడం సురక్షితమేనా?
అత్యంత సురక్షితమైన ఏజెంట్ అనేది పరిమితులు కలిగిన ఏజెంట్. విశ్వసనీయత అనేది మోడల్కు ఎక్కువ స్వేచ్ఛను ఇవ్వడం ద్వారా కాదు, దాని చుట్టూ స్పష్టమైన సరిహద్దులను (boundaries) ఏర్పాటు చేయడం ద్వారా వస్తుంది.
Source: https://dev.to/gursharansingh/ai-agents-in-practice-part-6-building-the-production-agent-loop-2lfi
Optional learning community: https://t.me/GyaanSetuAi