"మీ కోడ్ నడిచే మిల్లీసెకన్లకు మాత్రమే మీరు చెల్లిస్తారు" అనే సర్వర్‌లెస్ అపోహ, మీరు AWS Lambda పై ఒక AI ఏజెంట్‌ను నడపడానికి ప్రయత్నించినప్పుడు విఫలమవుతుంది. వాస్తవానికి, అతిపెద్ద ఖర్చులు Lambda-compute ఛార్జీలు కావు, కానీ కోల్డ్-స్టార్ట్ లేటెన్సీ (cold-start latency), రిట్రై లూప్‌లు (retry loops) మరియు ఆ లూప్‌ల వల్ల కలిగే టోకెన్ వినియోగం.

సాధారణ సర్వర్‌లెస్ దృక్పథం AI ఏజెంట్‌లను ఎందుకు తప్పుదోవ పట్టిస్తుంది

చాలా మంది డెవలపర్లు Lambda ఫంక్షన్‌ను కేవలం ఒక కంప్యూట్ సాండ్‌బాక్స్ (compute sandbox) లాగా భావిస్తారు: హ్యాండ్లర్‌ను వేగంగా ఉంచడం, తక్కువ మెమరీ సైజును సెట్ చేయడం మరియు బిల్లు స్థిరంగా ఉండటం చూస్తారు. ఇది సాధారణ HTTP ఎండ్‌పాయింట్‌లకు పని చేస్తుంది, కానీ ఒక లాంగ్వేజ్ మోడల్‌ను పిలిచి, ప్రతిస్పందనను విశ్లేషించి, బహుశా మొత్తం సైకిల్‌ను మళ్ళీ ప్రయత్నించే (retry) ఏజెంట్, ఒకే ఒక Lambda ఇన్వోకేషన్‌కు సరిపోదు. ఏజెంట్ యొక్క అంతర్గత వర్క్‌ఫ్లో మోడల్ కాల్స్ సంఖ్యను పెంచుతుంది, మరియు ప్రతి అదనపు కాల్ కంప్యూట్ ఛార్జీ కంటే ఎక్కువ టోకెన్ ఖర్చును కలిగిస్తుంది.

కోల్డ్ స్టార్ట్‌లు (Cold starts) అనేవి దాగి ఉన్న ఖర్చు

ఒక Lambda కంటైనర్ మొదటిసారి ప్రొవిజన్ చేయబడినప్పుడు, అది డిప్లాయ్‌మెంట్ ప్యాకేజీని అన్‌ప్యాక్ చేయాల్సి ఉంటుంది. ఇక్కడ మనం చూస్తున్న ఏజెంట్ పెద్ద మొత్తంలో Python లైబ్రరీలను ఉపయోగిస్తుంది, కాబట్టి ఇమేజ్ పరిమాణం ఎక్కువగా ఉండవచ్చు. కేవలం లోకల్ టెస్టింగ్ కోసం మాత్రమే ఉపయోగించే బ్రౌజర్ ఆటోమేషన్ లైబ్రరీ వంటి డెవలప్‌మెంట్-ఓన్లీ టూల్స్‌ను తొలగించడం వల్ల ఇమేజ్ సైజు తగ్గుతుంది, తద్వారా అన్‌ప్యాక్ సమయం కూడా తగ్గుతుంది. తక్కువ సైజు ప్యాకేజీ అంటే ఫంక్షన్ రిక్వెస్ట్‌ను వేగంగా హ్యాండిల్ చేయడానికి సిద్ధమవుతుంది, దీనివల్ల కంటైనర్ వార్మ్-అప్ (warm up) కోసం వేచి ఉండే సమయం తగ్గుతుంది.

రెండవ అంశం ఇనిషియలైజేషన్ కోడ్ (initialization code) ఎక్కడ ఉంటుందనేది. ఏజెంట్ గ్రాఫ్‌ను మాడ్యూల్ ఇంపోర్ట్ సమయంలోనే నిర్మించడం ద్వారా, ప్రతి రిక్వెస్ట్‌కు కాకుండా కంటైనర్ ప్రారంభం జరిగినప్పుడు ఒక్కసారి మాత్రమే భారీ పనులు జరుగుతాయి. దీనివల్ల వార్మ్ ఇన్వోకేషన్‌లు (Warm invocations) ఆ పనిని పూర్తిగా దాటవేస్తాయి. దీని వల్ల కోల్డ్ స్టార్ట్ సమయం కొంచెం పెరగవచ్చు, కానీ కంటైనర్ వార్మ్ అయిన తర్వాత ప్రతి రిక్వెస్ట్ సెటప్ సమయం దాదాపు సున్నా అవుతుంది.

మెమరీ అనేది లేటెన్సీని నియంత్రించే సాధనం (latency knob)

Lambdaలో మీరు కేటాయించే మెమరీ పరిమాణం, ఫంక్షన్‌కు లభించే CPU శాతాన్ని కూడా నిర్ణయిస్తుంది. ఫంక్షన్‌కు 1 GB మెమరీని సెట్ చేయడం వల్ల దానికి పూర్తి వర్చువల్ CPU కోర్ లభిస్తుంది. అదనపు CPU లైబ్రరీల ఇంపోర్ట్‌ను మరియు ఏజెంట్ గ్రాఫ్ సృష్టిని వేగవంతం చేస్తుంది, తద్వారా కోల్డ్-స్టార్ట్ మరియు వార్మ్-అప్ లేటెన్సీ రెండింటినీ తగ్గిస్తుంది.

లూప్ ఖర్చు: రిట్రైలు టోకెన్ ఖర్చును పెంచుతాయి

ఏజెంట్ ఒక వర్కర్-ఎవాల్యుయేటర్ (worker-evaluator) లూప్‌ను అనుసరిస్తుంది. వర్కర్ ఒక ప్రతిస్పందనను రూపొందిస్తుంది, ఎవాల్యుయేటర్ దానిని తనిఖీ చేస్తుంది, మరియు ఎవాల్యుయేటర్ ఏదైనా లోపాన్ని గుర్తిస్తే, ఆ టాస్క్ తిరిగి వర్కర్‌కు పంపబడుతుంది. ఈ లూప్ విఫలం కావడానికి ముందు ఐదు సార్లు వరకు పునరావృతం కావచ్చు. అంటే ఒకే ఒక ఎక్స్‌టర్నల్ రిక్వెస్ట్ వీటిని ప్రేరేపించవచ్చు:

  • వర్కర్ మోడల్‌కు ఐదు కాల్స్ వరకు
  • ఎవాల్యుయేటర్ మోడల్‌కు ఐదు కాల్స్ వరకు
  • ఏజెంట్ చేసే ఏవైనా టూల్ కాల్స్ (tool calls)

AWS ఎగ్జిక్యూషన్ మిల్లీసెకన్ల ఆధారంగా ఛార్జ్ చేస్తుంది కాబట్టి Lambda బిల్లు ఊహించిన విధంగానే ఉంటుంది, కానీ ఎన్ని రిట్రైలు అవసరమవుతాయనే దానిపై టోకెన్ బిల్లు భారీగా మారవచ్చు.

టైమ్ అవుట్ ట్రాప్: API Gateway vs. Lambda

API Gateway అది హ్యాండిల్ చేసే HTTP రిక్వెస్ట్‌పై 29 సెకన్ల కఠినమైన టైమ్ అవుట్‌ను విధిస్తుంది. అండర్‌లైయింగ్ Lambda ఫంక్షన్ ఐదు నిమిషాల ఎగ్జిక్యూషన్ విండో కోసం కాన్ఫిగర్ చేయబడినప్పటికీ, ఐదు రౌండ్ల ఏజెంట్ లూప్ సులభంగా ఆ పరిమితిని మించిపోవచ్చు. Lambda Function URLs ఉపయోగించి API Gatewayని దాటవేయడం వల్ల 29-సెకన్ల పరిమితి తొలగిపోతుంది, దీనివల్ల ఫంక్షన్ మధ్యలో ఆగిపోకుండా తన లూప్‌ను పూర్తి చేయగలదు.

డెవలపర్లు దేని కోసం బడ్జెట్ చేయాలి

పాఠం సరళమైనది: సర్వర్‌లెస్ AI ఏజెంట్ కోసం బడ్జెట్ చేయాలంటే కేవలం Lambda రన్‌టైమ్ మిల్లీసెకన్లను లెక్కించడం సరిపోదు. మీరు వీటిని కూడా పరిగణనలోకి తీసుకోవాలి:

  • డిప్లాయ్‌మెంట్ ప్యాకేజీ పరిమాణం మరియు దాని వల్ల కలిగే కోల్డ్-స్టార్ట్ లేటెన్సీ
  • CPU మరియు ఇంపోర్ట్ వేగాన్ని నిర్ణయించే మెమరీ సెట్టింగ్
  • వర్కర్-ఎవాల్యుయేటర్ లూప్‌లో ఆశించిన రిట్రైల సంఖ్య, ఇది నేరుగా టోకెన్ వినియోగాన్ని ప్రభావితం చేస్తుంది
  • టైమ్ అవుట్‌లను నివారించడానికి ఫ్రంట్-ఎండ్ ఎంపిక (API Gateway vs. Function URL)

ఈ వేరియబుల్స్‌లో దేనినైనా విస్మరిస్తే, మీరు ఊహించిన బిల్లుకు మరియు వచ్చే బిల్లుకు అస్సలు సంబంధం లేకుండా ఉండవచ్చు.