సాండ్బాక్స్ల అవతల: మన్నికైన AI ఏజెంట్లను నిర్మించడం
ప్రొడక్షన్ AI ఏజెంట్లకు సాండ్బాక్స్లు మాత్రమే సరిపోవు.
చాలా మంది డెవలపర్లు ఏజెంట్లను మెమరీలో ఒక సాధారణ లూప్లా నిర్మిస్తారు. LLM గమనిస్తుంది, నిర్ణయిస్తుంది, చర్య తీసుకుంటుంది మరియు మళ్ళీ అదే చేస్తుంది. ఇది ల్యాబ్లో పనిచేస్తుంది, కానీ నిజ ప్రపంచంలో విఫలమవుతుంది.
మెమరీ లూప్ ఎందుకు విఫలమవుతుంది?
- సుదీర్ఘమైన పనులు: ఒక ఏజెంట్ పనిని పూర్తి చేయడానికి రోజులు పట్టినట్లయితే లేదా ఒక పనిని ఆమోదించడానికి మనిషి కోసం వేచి ఉండాల్సి వస్తే, ప్రాసెస్ను రన్ చేస్తూ ఉండటం వల్ల CPU మరియు మెమరీ వృథా అవుతాయి.
- క్రాష్ రికవరీ లేకపోవడం: సిస్టమ్ క్రాష్ అయినా లేదా నెట్వర్క్ కనెక్టివిటీ పోయినా, మీరు మొత్తం స్టేట్ను కోల్పోతారు. మీరు ఎక్కడ ఆపారో అక్కడి నుండి మళ్ళీ ప్రారంభించలేరు.
- సంక్లిష్టత: భారీ మొత్తంలో అదనపు కోడ్ లేకుండా బహుళ ఏజెంట్లు ఒకదానితో ఒకటి మాట్లాడుకోవడానికి ఇబ్బంది పడతాయి.
Orkes CTO అయిన Virein Baraiya ఒక మెరుగైన మార్గాన్ని సూచిస్తున్నారు. మీ పనులను వేరు చేయండి (Separate your concerns).
చర్యల కోసం మాత్రమే సాండ్బాక్స్ను ఉపయోగించండి. రిస్క్తో కూడిన టూల్ కోడ్ను సురక్షితంగా రన్ చేయడానికి సాండ్బాక్స్ను ఉపయోగించండి.
రీజనింగ్ కోసం మన్నికైన రన్టైమ్ను ఉపయోగించండి. LLM ప్లాన్ను అందిస్తుంది. రన్టైమ్ సిస్టమ్ ఎగ్జిక్యూషన్ మరియు స్టేట్ను నిర్వహిస్తుంది.
దీనిని పరిష్కరించడానికి ఆయన రెండు సాధనాలను పరిచయం చేశారు:
- Netflix Conductor ఇది ఒక వర్క్ఫ్లో ఇంజిన్. ఇది ఒక లెడ్జర్లా పనిచేస్తుంది. ఇది ప్రతి LLM కాల్ మరియు ప్రతి టూల్ వినియోగాన్ని డేటాబేస్లో రికార్డ్ చేస్తుంది.
- ఇది ఆన్-డిమాండ్ సస్పెన్షన్ను సపోర్ట్ చేస్తుంది. ఒక ఏజెంట్ మనిషి కోసం వేచి ఉన్నట్లయితే, సిస్టమ్ వర్క్ఫ్లోను తాత్కాలికంగా నిలిపివేసి, మెమరీ మొత్తాన్ని విడుదల చేస్తుంది.
- పనిని పూర్తి చేయడానికి ఇది నెలల తర్వాత కూడా మళ్ళీ ప్రారంభం కాగలదు.
- Agent Span ఇది Conductor పైన నిర్మించబడిన రన్టైమ్. ఇది ఒక ట్రాన్స్లేటర్లా పనిచేస్తుంది.
- మీరు LangGraph లేదా OpenAI SDK వంటి ఇప్పటికే ఉన్న సాధనాలను ఉపయోగించవచ్చు.
- మీరు మీ బిజినెస్ లాజిక్ను మళ్ళీ రాయాల్సిన అవసరం లేకుండానే, Agent Span మీ ఏజెంట్ కోడ్ను మన్నికైన వర్క్ఫ్లోలుగా మారుస్తుంది.
ఈ ఆర్కిటెక్చర్ మూడు ప్రధాన ప్రయోజనాలను అందిస్తుంది:
- గార్డ్రైల్స్ (Guardrails): నియమాలను ఫ్రేమ్వర్క్ నియంత్రిస్తుంది, LLM కాదు. ఇది హాలూసినేషన్స్ (hallucinations) వల్ల నష్టం జరగకుండా నిరోధిస్తుంది.
- పూర్తి ఆడిట్: నెలల తర్వాత కూడా ఒక ఏజెంట్ ఎందుకు ఒక నిర్ణయం తీసుకుందో మీరు ఖచ్చితంగా చూడవచ్చు. మీరు ఆ ప్రక్రియను మళ్ళీ ప్లే (replay) కూడా చేయవచ్చు.
- మెరుగైన టెస్టింగ్: మీరు ఒక LLM అవుట్పుట్ను మార్చి, మిగిలిన సిస్టమ్ ఎలా స్పందిస్తుందో చూడవచ్చు.
బిల్డర్ల కోసం ఒక చివరి చిట్కా: బిజినెస్ కాంటెక్స్ట్పై దృష్టి పెట్టండి. మోడల్స్ మారుతుంటాయి. ఫ్రేమ్వర్క్లు మారుతుంటాయి. కానీ మీ వ్యాపారం పనులను నిర్వహించే ప్రత్యేక విధానమే మీ నిజమైన బలం (moat).
Source: https://dev.to/cognitalk/chao-yue-sha-xiang-wei-ai-agent-gou-jian-chi-jiu-hua-yun-xing-shi-2i9i
Optional learning community: https://t.me/GyaanSetuAi