నా AI ఇంటిగ్రేషన్ ఖర్చు నా విధానాన్ని మార్చుకునే వరకు చాలా ఎక్కువగా ఉంది

నేను సుదీర్ఘ వ్యాసాలను సంగ్రహించడానికి (summarize) ఒక సాధనాన్ని తయారు చేశాను. అది పనిచేయడానికి నేను GPT-4ని ఉపయోగించాను. ఆ సమ్మరీలు చాలా బాగున్నాయి. ఒకే నెలలో బిల్లు $1,200 వచ్చింది.

నా ప్రాజెక్ట్‌కు ఆ ఖర్చు చాలా ఎక్కువ. నాకు మూడు ఎంపికలు ఉన్నాయి. ఖర్చును తగ్గించడం లేదా ఆ ఫీచర్‌ను ఆపేయడం.

నేను GPT-3.5కి మారడానికి ప్రయత్నించాను. ధర తగ్గింది. కానీ నాణ్యత కూడా తగ్గిపోయింది. సమ్మరీలు అస్పష్టంగా మారాయి మరియు ముఖ్యమైన వాస్తవాలను వదిలివేసాయి.

నేను ఇన్‌పుట్ టెక్స్ట్ పరిమాణాన్ని తగ్గించడానికి ప్రయత్నించాను. ముఖ్యమైన వాక్యాలను ముందుగా ఎంచుకోవడానికి నేను లోకల్ లైబ్రరీలను ఉపయోగించాను. అది సహాయపడింది, కానీ ఖర్చు మాత్రం ఎక్కువగా ఉంది. చిన్న మోడల్స్ సుదీర్ఘ టెక్స్ట్‌పై ఇప్పటికీ తప్పులు చేస్తున్నాయి.

అప్పుడు నాకు ఒక మెరుగైన మార్గం దొరికింది. అన్నింటికీ ఒకే పెద్ద మోడల్‌ను ఉపయోగించడం నేను ఆపివేశాను. నేను రెండు దశల పైప్‌లైన్ (two-step pipeline) ఉపయోగించడం ప్రారంభించాను.

దశ 1: ఎక్స్‌ట్రాక్టివ్ ఫేజ్ (Extractive phase). వ్యాసం నుండి టాప్ 5 నుండి 10 వాక్యాలను ఎంచుకోవడానికి ఒక చౌకైన, వేగవంతమైన సాధనాన్ని ఉపయోగించండి. ఇది టెక్స్ట్‌లో 90% భాగాన్ని తొలగిస్తుంది.

దశ 2: అబ్‌స్ట్రాక్టివ్ ఫేజ్ (Abstractive phase). ఆ కొన్ని వాక్యాలను మాత్రమే ఒక చిన్న, చౌకైన APIకి పంపండి. ఆ వాక్యాలను కలిపి ఒక స్పష్టమైన సమ్మరీగా మార్చమని దానికి చెప్పండి.

ఈ మార్పు వల్ల నా ఖర్చులు 80% తగ్గాయి. నాణ్యత GPT-4కి దగ్గరగా ఉంది. API కాల్స్ చాలా చిన్నవిగా మరియు చౌకగా మారాయి.

నేను రెండు ముఖ్యమైన పాఠాలను కూడా నేర్చుకున్నాను:

  • క్యాషింగ్ (Caching) ఉపయోగించండి. చాలా మంది వినియోగదారులు ఒకే వ్యాసాన్ని చదివితే, ఆ ప్రక్రియను రెండుసార్లు చేయకండి. ఫలితాన్ని సేవ్ చేయండి.

  • లేయర్‌లను (Layers) ఉపయోగించండి. మీకు ఎల్లప్పుడూ భారీ మోడల్ అవసరం లేదు. సంక్లిష్టమైన పనులను చిన్న, చౌకైన దశలుగా విభజించండి.

మీ ప్రాజెక్ట్‌లలో AI నాణ్యత మరియు ఖర్చును మీరు ఎలా సమతుల్యం చేస్తారు? వివిధ దశల కోసం మీరు వేర్వేరు మోడల్‌లను ఉపయోగిస్తారా?

మూలం: https://dev.to/__c1b9e06dc90a7e0a676b/my-ai-integration-had-terrible-costs-until-i-changed-my-approach-pml

ఐచ్ఛిక అభ్యాస సమూహం: https://t.me/GyaanSetuAi