Agentic AI ROIని దెబ్బతీసే నిశ్శబ్ద హంతకుడు
మీ Kubernetes pods పచ్చగా (green) ఉన్నాయి. మీ API latency తక్కువగా ఉంది. మీ LLM provider 99.9% uptime చూపిస్తోంది.
అయినప్పటికీ, మీ ఆటోమేటెడ్ లోన్ సిస్టమ్ కేవలం మూడు గంటల్లోనే నెలవారీ API బడ్జెట్ను మొత్తం ఖర్చు చేసేశాయి. రెండు ఏజెంట్లు ఒక లూప్లో చిక్కుకుపోయాయి.
ఇది "ఆరోగ్యంగా ఉన్నా, భ్రమపడుతున్న" (Healthy but Hallucinating) పారడాక్స్.
సాంప్రదాయ సాఫ్ట్వేర్లో, ఒక సిస్టమ్ లేదా పనిచేస్తుంది లేదా పనిచేయదు. ఒక ఏజెంటిక్ మెష్లో (agentic mesh), ఒక సిస్టమ్ ఆరోగ్యంగా కనిపిస్తూనే పూర్తిగా విఫలం కావచ్చు. మీరు ఏజెంట్ల కోసం ప్రామాణిక Site Reliability Engineering (SRE)ని ఉపయోగిస్తుంటే, మీరు తప్పుడు సంకేతాలను (signals) పర్యవేక్షిస్తున్నారని అర్థం. మీరు పని చేయలేని స్థితిలో ఉన్న (functionally brain-dead) రోగి యొక్క హృదయ స్పందనను కొలుస్తున్నట్లు అన్నమాట.
ఏజెంటిక్ పతనాన్ని (agentic collapse) నిరోధించడంలో ప్రామాణిక ఇన్ఫ్రాస్ట్రక్చర్ ఎందుకు విఫలమవుతోంది?
సాంప్రదాయ SRE అనేది డిటర్మినిస్టిక్ (deterministic) సిస్టమ్స్ కోసం రూపొందించబడింది. ఒక సర్వీస్ విఫలమైనప్పుడు, అది ఎర్రర్ను చూపిస్తుంది. అది బైనరీ (binary). ఏజెంట్ వైఫల్యాలు భిన్నంగా ఉంటాయి. ఒక ఏజెంట్ క్రాష్ అవ్వదు. అది డ్రిఫ్ట్ (drift) అవుతుంది. అది టైమ్ అవుట్ అవ్వదు. అది ఒక పారామీటర్ను ఊహించి (hallucinates), దాని వల్ల కొన్ని దశల తర్వాత నిశ్శబ్ద వైఫల్యం (silent failure) సంభవిస్తుంది.
సింగిల్ బాట్ల నుండి ఎంటర్ప్రైజ్ ఏజెంట్ ఫ్యాబ్రిక్స్కు మారే క్రమంలో మేము ఈ అంతరాన్ని చూస్తున్నాము. ఒక టీమ్ బెంచ్మార్క్లో 95% ఖచ్చితత్వాన్ని (accuracy) నివేదిస్తుంది, కానీ సిస్టమ్ ప్రొడక్షన్లో విఫలమవుతుంది. బెంచ్మార్క్లు ఒక మోడల్ ప్రశ్నకు సమాధానం చెప్పగలదా లేదా అని కొలుస్తాయి. నాలుగు ఏజెంట్లతో కూడిన 12-దశల వర్క్ఫ్లోలో ఒక సిస్టమ్ స్టేట్ను (state) నిర్వహించగలదా లేదా అని అవి కొలవలేవు.
మీకు Agent Reliability Engineering (ARE) అవసరం.
సాంప్రదాయ SRE బైనరీ స్టేట్స్ను నిర్వహిస్తుంది. ARE ప్రాబబిలిటీ డిస్ట్రిబ్యూషన్స్ను (probability distributions) నిర్వహిస్తుంది. మీరు కేవలం CPU మరియు మెమరీని మాత్రమే ట్రాక్ చేస్తే, ఏజెంట్ వైఫల్యాల పట్ల మీరు అంధులవుతారు.
మల్టీ-ఏజెంట్ సిస్టమ్స్లో లోపాలు కేవలం పెరుగుతాయి మాత్రమే కాదు, అవి గుణించబడతాయి (multiply). ఎందుకంటే ఏజెంట్లు ఇతర ఏజెంట్ల అవుట్పుట్ను సత్యంగా భావిస్తాయి, కాబట్టి మొదటి దశలో జరిగే చిన్న తప్పు ఐదవ దశ నాటికి విపత్తుగా మారుతుంది.
సాధారణ వైఫల్య రకాలు:
- Agentic infinite loops (ఏజెంటిక్ అనంతమైన లూప్లు)
- State drift (స్టేట్ డ్రిఫ్ట్)
- Prompt injection cascades (ప్రాంప్ట్ ఇంజెక్షన్ కాస్కేడ్స్)
- Tool-call hallucinations (టూల్-కాల్ హాలూసినేషన్స్)
ఒక ప్రమాదకరమైన ఉదాహరణ: ఒక ఏజెంట్ అప్డేట్ టూల్ను పిలుస్తుంది. అది లేని ఒక పారామీటర్ను సృష్టిస్తుంది. API ఆ అదనపు పారామీటర్ను విస్మరించి 200 OKని తిరిగి ఇస్తుంది. ఏజెంట్ తాను విజయవంతమైందని అనుకుంటుంది, కానీ బిజినెస్ లాజిక్ నిశ్శబ్దంగా విఫలమవుతుంది.
ARE "intent-action-outcome" లూప్పై దృష్టి పెడుతుంది. ఏజెంట్ ఒక టూల్ను పిలిచిందా లేదా అని మీరు పర్యవేక్షించడమే కాదు, ఆ పిలుపు అసలు ఉద్దేశానికి (intent) సరిపోలిందా మరియు ఫలితం (outcome) లక్ష్యాన్ని చేరుకుందా లేదా అని కూడా పర్యవేక్షించాలి.
ఏజెంట్ రిలయబిలిటీ ఇంజనీర్ (ARE) పాత్ర వీటిని నిర్వహిస్తుంది:
- Intent Analysis: ఏజెంట్ లక్ష్యం నుండి ఎప్పుడు పక్కదారి పడుతుందో గుర్తించడం.
- Guardrail Tuning: లూప్లను ఆపడానికి కన్స్ట్రైంట్లను (constraints) సర్దుబాటు చేయడం.
- Dependability Mapping: ఏజెంట్ ఎప్పుడు మనిషికి పనిని అప్పగించాలో (hand off) నిర్ణయించడం.
- Audit Architecture: అంతర్గత రీజనింగ్ మరియు స్టేట్ మార్పులను క్యాప్చర్ చేయడం.
ఖచ్చితత్వం (accuracy) గురించి మాట్లాడటం ఆపండి. సిస్టమ్ డిపెండబిలిటీ (System Dependability) గురించి మాట్లాడటం ప్రారంభించండి.
మానవ జోక్యం (human intervention) వల్ల అయ్యే ఖర్చును లెక్కించడం ద్వారా మీరు దీనిని CFOకి వివరించవచ్చు. ప్రతిసారి ఒక మనిషి ఏజెంట్ తప్పును సరిదిద్దినప్పుడు, అది ఒక రిలయబిలిటీ వైఫల్యం. ఆ గంటలను మీ నిపుణుల జీతాలతో గుణించండి. అప్పుడు అస్థిరత (unreliability) వల్ల కలిగే ఖర్చు స్పష్టమవుతుంది.
ఏజెంటిక్ ఎర్రర్ బడ్జెట్లను (Agentic Error Budgets) ఉపయోగించండి. ఒక సాధారణ ఈమెయిల్ సమ్మరైజర్ కోసం, మీ ఎర్రర్ బడ్జెట్ ఎక్కువగా ఉంటుంది. $10M బదిలీ చేసే సిస్టమ్ కోసం, మీ ఎర్రర్ బడ్జెట్ సున్నా.
AIని కేవలం ఒక సాఫ్ట్వేర్ ఫీచర్గా చూడకండి. దానిని ఒక సిస్టమిక్ రిస్క్గా (systemic risk) పరిగణించండి. ఈ యుగంలో విజేతలు అత్యంత తెలివైన మోడల్స్ను కలిగి ఉండరు. వారు అత్యంత నమ్మదగిన (dependable) సిస్టమ్స్ను కలిగి ఉంటారు.
Optional learning community: https://t.me/GyaanSetuAi