మీ AI బిల్లు అనేది మోడల్ సమస్య కాదు. అది ఆర్కిటెక్చర్ సమస్య.

మీ LLM ఖర్చులు పెరుగుతుంటే, మీరు బహుశా తక్కువ ఖర్చుతో కూడిన మోడల్‌కు మారాలని అనుకుంటారు. మీరు GPT-4 నుండి GPT-4-miniకి మారవచ్చు. ఇది కొంచెం సహాయపడుతుంది, కానీ అసలు సమస్యను పరిష్కరించే అవకాశం చాలా తక్కువ.

అసలు సమస్య మీ వర్క్‌ఫ్లో (workflow) లో ఉంది. చాలా మంది ప్రతి దశను LLM ద్వారానే పంపిస్తారు. అవసరం లేని పనుల కోసం కూడా వారు లాంగ్వేజ్ రీజనింగ్ (language reasoning) ఉపయోగిస్తారు.

ప్రతి AI వర్క్‌ఫ్లోలో నాలుగు భాగాలు ఉంటాయి:

• Trigger: పనిని ప్రారంభిస్తుంది. దీని ఖర్చు దాదాపు సున్నా. • Deterministic ML: డేటాను వర్గీకరిస్తుంది లేదా స్కోర్ చేస్తుంది. ఇది తక్కువ ఖర్చుతో కూడుకున్నది. • LLM: చదువుతుంది, రాస్తుంది మరియు రీజనింగ్ చేస్తుంది. ఇది ఖరీదైనది. • Tool/API: డేటాను సేకరిస్తుంది లేదా రాస్తుంది. ఇది తక్కువ ఖర్చుతో కూడుకున్నది.

Deterministic ML మరియు LLM మధ్య వ్యత్యాసం చాలా పెద్దది. ఒక సాధారణ క్లాసిఫైయర్ (classifier) కంటే LLM 100 నుండి 1000 రెట్లు ఎక్కువ ఖర్చు చేయవచ్చు. ప్రతి దశకు సరైన సాధనాన్ని మీరు ఎంచుకోకపోతే, మీరు తెలియకుండానే ఖరీదైన దానినే వాడుతుంటారు.

ఒక సపోర్ట్ టికెట్ సిస్టమ్‌ను పరిశీలించండి.

సరిగ్గా రూపొందించని సిస్టమ్ మొత్తం టికెట్‌ను LLMకి పంపిస్తుంది. అది ఇంటెంట్ (intent) వర్గీకరించడానికి, టికెట్‌ను రూట్ చేయడానికి, సమాధానం డ్రాఫ్ట్ చేయడానికి మరియు CRMని అప్‌డేట్ చేయడానికి LLMని అడుగుతుంది. ఇది అనవసరమైన ఖర్చు. వర్గీకరణకు (Classification) LLM అవసరం లేదు. టెక్స్ట్‌ను ఒక కేటగిరీకి అనుసంధానించడానికి ఒక సాధారణ మోడల్ సరిపోతుంది.

మెరుగైన సిస్టమ్ ఇలా ఉంటుంది:

  1. Trigger: ఒక టికెట్ వస్తుంది.
  2. Deterministic ML: టికెట్ బిల్లింగ్, టెక్నికల్ లేదా స్పామ్ అనేది ఒక వేగవంతమైన, తక్కువ ఖర్చుతో కూడిన మోడల్ నిర్ణయిస్తుంది.
  3. LLM: కేవలం సరైన టికెట్‌లకు మాత్రమే సమాధానం డ్రాఫ్ట్ చేయడానికి ఉపయోగించబడుతుంది.
  4. Tool/API: సిస్టమ్ CRMని అప్‌డేట్ చేస్తుంది.

ఈ విధానంలో, స్పామ్ టికెట్లు ఎప్పటికీ LLMకి చేరుకోవు. అనవసరమైన పనుల కోసం మీరు చెల్లించే "LLM tax" ఆగిపోతుంది.

మీరు మీ ఆర్కిటెక్చర్‌ను సరిగ్గా రూపొందిస్తే, మోడల్‌లను మార్చకముందే అత్యంత ఖరీదైన కాల్స్‌ను మీరు తొలగించవచ్చు.

మీ ఖర్చులను తగ్గించుకోవడానికి ఈ దశలను అనుసరించండి:

  • మీ వర్క్‌ఫ్లోను మ్యాప్ చేయండి. ఏ దశలకు నిజమైన రీజనింగ్ అవసరమో మరియు ఏవి కేవలం క్లాసిఫికేషన్ లేదా ఎక్స్‌ట్రాక్షన్ మాత్రమేనో గుర్తించండి.
  • Deterministic దశలను ప్రాంప్ట్ (prompt) నుండి బయటకు తీయండి. రూటింగ్ మరియు స్కోరింగ్ కోసం వేగవంతమైన, తక్కువ ఖర్చుతో కూడిన పద్ధతులను ఉపయోగించండి.
  • LLMకి గేటింగ్ (Gate) చేయండి. అవసరం లేని పనుల కోసం సమాధానాలను రూపొందించవద్దు.
  • మోడల్ పరిమాణాన్ని చివరగా అంచనా వేయండి. మీ ఆర్కిటెక్చర్ సరళంగా (lean) మారిన తర్వాత మాత్రమే జనరేషన్ దశ కోసం చిన్న మోడల్‌ను ఎంచుకోండి.

ఏ మోడల్ టోకెన్‌కు తక్కువ ధర అని వాదించడం ఆపండి. ఖరీదైన ఇంజిన్‌ను అవసరమైనప్పుడు మాత్రమే ఉపయోగించే ఆర్కిటెక్చర్‌లను నిర్మించడం ప్రారంభించండి.

మూలం: https://dev.to/bakshiyogesh/your-ai-bill-isnt-a-model-problem-its-an-architecture-problem-1ole

ఐచ్ఛిక అభ్యాస సమూహం: https://t.me/GyaanSetuAi