మేము మా పది ఏజెంట్ల AI ఫ్లీట్పై $100 క్రెడిట్ పరిమితిని నిర్ణయించాము, మేము ఆ పరిమితిని పెంచే వరకు ప్రతి కొత్త టాస్క్ను నిలిపివేస్తూ, అదే రోజున త్రోటిల్ (throttle) పని చేయడం ప్రారంభించింది. బడ్జెట్ మించిపోయిన వెంటనే కంట్రోల్ లూప్ తక్షణమే స్పందించినట్లు ఈ సంఘటన చూపుతుంది.
AI ఫ్లీట్లకు క్రెడిట్ పరిమితి ఎందుకు ముఖ్యం
ఒకే సర్వర్లో పది స్వయంప్రతిపత్తి కలిగిన ఏజెంట్లను (autonomous agents) నడపడం వల్ల నిరంతర API కాల్స్ వస్తుంటాయి, ఇవి అవి ఉపయోగించే టోకెన్ల ఆధారంగా బిల్లు చేయబడతాయి. సాంప్రదాయ లాగ్లు ఏజెంట్లు ఏమి చేశాయో—క్వరీస్, రెస్పాన్సెస్, టైమ్స్టాంప్లు—అనేవి నమోదు చేస్తాయి, కానీ ఆ పనుల వల్ల ఎంత ఖర్చయింది అనే దాని గురించి ఏమీ చెప్పవు. ఫ్లీట్ పరిమాణం పెరిగినప్పుడు, ఆ కనిపించని బిల్లు ఒక్కసారిగా పెరిగిపోయి, ఎవరూ గమనించేలోపే బడ్జెట్ను ఖర్చు చేయవచ్చు.
లాగ్లను లెడ్జర్గా మార్చడం
లాగ్లను కేవలం సాధారణ టెక్స్ట్గా చూడటం మానేసి, వాటిని ఒక ఆర్థిక లెడ్జర్గా పరిగణించడం మా మొదటి అడుగు. ప్రతి ఏజెంట్ సైకిల్—task → taking → done—ఇప్పుడు మూడు జర్నల్ ఎంట్రీలను ఉత్పత్తి చేస్తుంది:
- Money – రిక్వెస్ట్ యొక్క టోకెన్ కౌంట్ నుండి పొందబడిన అంచనా వేయబడిన USD విలువ.
- Promises – పెండింగ్లో ఉన్న పనులు, ఇవి భవిష్యత్తులో చెల్లించాల్సిన బాధ్యతను (standing liability) సూచిస్తాయి, అంటే పనులు పూర్తయిన తర్వాత బిల్లు చేయబడే పనులు.
- Labour – ఏజెంట్ చేసిన అసలు పని యూనిట్లు.
లాగ్ ఫైల్లో “error” కోసం వెతకడానికి బదులుగా, ఇప్పుడు మేము నిజమైన ఆర్థిక క్వరీని రన్ చేయవచ్చు: “మొత్తం డబ్బు $100 మించిన అన్ని ప్రామిసెస్ (promises) చూపించు.” ఈ లెడ్జర్ దాగి ఉన్న ఖర్చును స్పష్టంగా మరియు వెతకగలిగేలా చేస్తుంది.
క్లోజ్డ్-లూప్ కంట్రోల్ సిస్టమ్
క్రెడిట్-లిమిట్ మెకానిజం నిరంతరం నడిచే నాలుగు దశల లూప్ను అనుసరిస్తుంది:
- Measure – ప్రతి ఏజెంట్ టర్న్ ఒక స్పెండ్ లాగ్కు ఒక లైన్ను జోడిస్తుంది, ఇది టోకెన్ వినియోగాన్ని మరియు దాని నుండి వచ్చిన డాలర్ మొత్తాన్ని నమోదు చేస్తుంది.
- Price – సిస్టమ్ ప్రస్తుత రేటును ఉపయోగించి టోకెన్ కౌంట్లను USDకి మారుస్తుంది.
- Alert – ఒక మానిటర్ రోలింగ్ బడ్జెట్ను గమనిస్తుంది. దాని స్థితి none (హెచ్చరిక లేదు) నుండి warn (పరిమితికి చేరువలో ఉంది) నుండి cap (పరిమితి చేరుకుంది) కి మారుతుంది.
- Throttle – గేట్ ప్రస్తుత స్థితిని చదువుతుంది మరియు క్యాప్ (cap) యాక్టివ్గా ఉన్నప్పుడు కొత్త టాస్క్ డిస్పాచ్ను నిరోధిస్తుంది.
బడ్జెట్ విండో అనేది రోలింగ్ ఐదు గంటల కాలం, అంటే సిస్టమ్ ఎల్లప్పుడూ గత ఐదు గంటల ఖర్చును మాత్రమే చూస్తుంది, నిర్ణీత క్యాలెండర్ బ్లాక్ను కాదు. ఇది కార్యకలాపాల పెరుగుదలకు (bursts of activity) లూప్ తక్షణమే స్పందించేలా చేస్తుంది మరియు ఒకేసారి ఖర్చు పెరిగినంత మాత్రాన ఫ్లీట్ శాశ్వతంగా లాక్ అవ్వకుండా నిరోధిస్తుంది.
కేవలం ఖర్చును మాత్రమే చూపే డ్యాష్బోర్డ్ ఒక కథను చెబుతుంది; కానీ ఆ సంఖ్యను చదివి, టాస్క్ డిస్పాచ్ను ఆపే త్రోటిల్ (throttle) అసలైన నియంత్రణ.
డిజైన్ ద్వారా స్థితిస్థాపకత (Resilience)
ఖర్చును నియంత్రించే వ్యవస్థే ఒకే పాయింట్ ఆఫ్ ఫెయిల్యూర్ (single point of failure) గా మారితే అది వ్యతిరేక ఫలితాలను ఇస్తుంది. మేము మూడు రక్షణ చర్యలను రూపొందించాము:
- Fails open – బడ్జెట్ టూల్ క్రాష్ అయినా, ఏజెంట్లు పని చేస్తూనే ఉంటారు. ఖర్చు నియంత్రణలో లేకపోవచ్చు, కానీ ఫ్లీట్ పనితీరు ఆగదు.
- Manual bypass – ఆపరేటర్లు ఒక ప్రయారిటీ ఛానెల్ ద్వారా త్రోటిల్ను ఓవర్రైడ్ చేయవచ్చు, దీనివల్ల పరిమితి చేరుకున్నప్పటికీ కీలకమైన పనులు కొనసాగించవచ్చు.
- Auto-resume – రోలింగ్ విండో ముందుకు కదులుతున్న కొద్దీ, పాత ఖర్చు లెక్కల నుండి తొలగిపోతుంది. మొత్తం ఖర్చు పరిమితి కంటే తగ్గగానే, మానవ ప్రమేయం లేకుండా గేట్ స్వయంచాలకంగా మళ్ళీ తెరుచుకుంటుంది.
పరీక్ష: $100 పరిమితి వర్సెస్ $156 ఇప్పటికే ఉన్న ఖర్చు
ఫ్లీట్ యొక్క ఇటీవలి కార్యకలాపాల వల్ల ఇప్పటికే $156 ఖర్చు అయి ఉన్న సమయంలో, మేము $100 పరిమితితో సిస్టమ్ను ప్రారంభించాము. త్రోటిల్ తక్షణమే పని చేయడం ప్రారంభించి, అన్ని కొత్త టాస్క్లను నిలిపివేసింది. మేము ఆ పరిమితిని $200కి పెంచినప్పుడు, గేట్ మళ్ళీ తెరుచుకుంది మరియు ఎటువంటి మాన్యువల్ చర్యలు లేకుండా పనులు మళ్ళీ ప్రారంభమయ్యాయి.
ఈ ప్రయోగం రెండు విషయాలను ధృవీకరించింది:
- కంట్రోల్ లూప్ రియల్ టైమ్లో స్పందిస్తుంది; బడ్జెట్ ఉల్లంఘనను గుర్తించినా మరియు అమలు చేసినా మధ్య ఎటువంటి ఆలస్యం ఉండదు.
- ఆపరేటర్లు పరిమితులను తక్షణమే (on the fly) సర్దుబాటు చేయవచ్చు, తద్వారా తక్కువ ప్రాధాన్యత కలిగిన పనుల కోసం అనవసరమైన డౌన్టైమ్ను నివారించవచ్చు.
ముఖ్య గమనిక (Takeaway): ఏజెంట్ లాగ్లను ఆర్థిక లెడ్జర్గా పరిగణించడం మరియు డిస్పాచ్ పైప్లైన్లో రోలింగ్-బడ్జెట్ త్రోటిల్ను అనుసంధానించడం వల్ల, అతిగా ఖర్చు చేయకుండా తక్షణమే అమలు చేయగల రక్షణ లభిస్తుంది. ఇది నేడు పనిచేసే తక్కువ ఖర్చుతో కూడిన, స్థితిస్థాపకత కలిగిన నియంత్రణ; మరింత అధునాతన విధానాలను తర్వాత జోడించవచ్చు, కానీ ప్రాథమిక లూప్ అనేది ఏ AI-ఏజెంట్ ఫ్లీట్కైనా మొదటి రక్షణ కవచం కావాలి.