𝗠𝘆 𝗔𝗜 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝘁𝗶𝗼𝗻 𝗖𝗼𝘀𝘁 𝗧𝗼𝗼 𝗠𝘂𝗰𝗵 𝗨𝗻𝘁𝗶𝗹 𝗜 𝗖𝗵𝗮𝗻𝗴𝗲𝗱 𝗠𝘆 𝗔𝗽𝗽𝗿𝗼𝗮𝗰𝗵
బిల్లు వచ్చే వరకు నా AI సమ్మరైజేషన్ ఫీచర్ను నేను చాలా ఇష్టపడ్డాను.
గత నెలలో, పెద్ద ఆర్టికల్స్ను సమ్మరైజ్ చేయడానికి నేను ఒక టూల్ను రూపొందించాను. నేను ఒక సింపుల్ ప్రాంప్ట్తో GPT-4ని ఉపయోగించాను. అది అద్భుతంగా పనిచేసింది. యూజర్లు దాని క్వాలిటీని బాగా ఇష్టపడ్డారు.
అప్పుడు బిల్లు వచ్చింది. ఒక నెల వాడకానికి నాకు $1,200 కంటే ఎక్కువ ఖర్చయింది. నేను దీనిని సరిదిద్దాలి లేదా ఆ ఫీచర్ను నిలిపివేయాలి.
దీనిని సరిదిద్దడానికి నేను కొన్ని ప్రయత్నాలు చేశాను:
- నేను GPT-3.5-turboకి మారాను. ఖర్చు తగ్గింది, కానీ క్వాలిటీ పడిపోయింది. సమ్మరీలు అస్పష్టంగా మారాయి.
- నేను ప్రాంప్ట్ ఇంజనీరింగ్ ప్రయత్నించాను. "be specific" అని జోడించినా అది సరిపడా సహాయపడలేదు.
- ఎక్స్ట్రాక్టివ్ లైబ్రరీలను ఉపయోగించి ఇన్పుట్ సైజును తగ్గించడానికి ప్రయత్నించాను. ఇది కొంతవరకు సహాయపడింది, కానీ ఖర్చులు ఎక్కువగా ఉన్నట్టే ఉన్నాయి.
చిన్న మేకు కొట్టడానికి నేను పెద్ద సుత్తిని వాడుతున్నానని నాకు అర్థమైంది.
దీనికి పరిష్కారం రెండు దశల పైప్లైన్. ఉత్తమ ఫలితాల కోసం మీరు రెండు వేర్వేరు పద్ధతులను కలిపి ఉపయోగించాలి.
దశ 1: ఎక్స్ట్రాక్టివ్ ఫేజ్ (The Extractive Phase) ఆర్టికల్ నుండి టాప్ 5 నుండి 10 వాక్యాలను ఎంచుకోవడానికి TextRank వంటి తక్కువ ఖర్చుతో కూడిన, వేగవంతమైన టూల్ను ఉపయోగించండి. ఇది 90% అదనపు టెక్స్ట్ను తొలగిస్తుంది.
దశ 2: అబ్స్ట్రాక్టివ్ ఫేజ్ (The Abstractive Phase) ఆ కొన్ని వాక్యాలను మాత్రమే GPT-3.5-turbo వంటి చిన్న, తక్కువ ఖర్చుతో కూడిన మోడల్కు పంపండి. ఆ వాక్యాలను క్లీన్ 3-బల్లెట్ సమ్మరీగా తిరిగి రాయమని దానికి చెప్పండి.
ఈ విధానం నా ఖర్చులను 80% తగ్గించింది. మోడల్ కేవలం అత్యంత ముఖ్యమైన డేటాను మాత్రమే ప్రాసెస్ చేయడం వల్ల, క్వాలిటీ GPT-4కి దగ్గరగా ఉంది.
మీ AI బిల్