जब तक मैंने अपना तरीका नहीं बदला, मेरी AI इंटीग्रेशन लागत बहुत अधिक थी
मुझे अपना AI समराइजेशन फीचर बहुत पसंद था, जब तक कि बिल नहीं आ गया।
पिछले महीने, मैंने लंबे लेखों का सारांश बनाने के लिए एक टूल बनाया। मैंने एक साधारण प्रॉम्प्ट के साथ GPT-4 का उपयोग किया। यह बिल्कुल सही काम कर रहा था। यूजर्स को इसकी क्वालिटी बहुत पसंद आई।
फिर बिल आया। एक महीने के उपयोग की लागत मुझे $1,200 से अधिक पड़ी। मुझे या तो इसे ठीक करना था या इस फीचर को बंद करना था।
मैंने इसे ठीक करने के लिए कई चीज़ें आज़माईं:
- मैंने GPT-3.5-turbo पर स्विच किया। लागत कम हो गई, लेकिन क्वालिटी गिर गई। सारांश अस्पष्ट हो गए।
- मैंने प्रॉम्प्ट इंजीनियरिंग (prompt engineering) की कोशिश की। "be specific" जोड़ने से पर्याप्त मदद नहीं मिली।
- मैंने extractive libraries का उपयोग करके इनपुट साइज कम करने की कोशिश की। इससे मदद मिली, लेकिन लागत फिर भी अधिक रही।
मुझे एहसास हुआ कि मैं एक छोटी सी कील के लिए हथौड़े का इस्तेमाल कर रहा था।
समाधान एक दो-चरणीय (two-step) पाइपलाइन है। बेहतरीन परिणाम प्राप्त करने के लिए आप दो अलग-अलग तरीकों को मिलाते हैं।
स्टेप 1: एक्सट्रैक्टिव फेज (The Extractive Phase) लेख में से शीर्ष 5 से 10 वाक्यों को चुनने के लिए TextRank जैसे सस्ते और तेज़ टूल का उपयोग करें। यह 90% अतिरिक्त टेक्स्ट को हटा देता है।
स्टेप 2: एब्स्ट्रैक्टिव फेज (The Abstractive Phase) केवल उन कुछ वाक्यों को GPT-3.5-turbo जैसे छोटे और सस्ते मॉडल पर भेजें। उसे उन वाक्यों को एक साफ 3-बुलेट सारांश में फिर से लिखने के लिए कहें।
इस दृष्टिकोण ने मेरी लागत को 80% तक कम कर दिया। क्वालिटी GPT-4 के करीब रही क्योंकि मॉडल ने केवल सबसे महत्वपूर्ण डेटा को ही प्रोसेस किया।
आपके AI बिल्ड्स के लिए अन्य टिप्स:
- कैशिंग (caching) का उपयोग करें। परिणामों को आर्टिकल हैश (article hash) के आधार पर स्टोर करें ताकि आपको एक ही सारांश के लिए दो बार भुगतान न करना पड़े।
- लेयर्स (layers) का उपयोग करें। जटिल कार्यों को छोटे, सस्ते सब-टास्क में विभाजित करें।
- फॉलबैक (fallback) सेट करें। यदि कोई लेख बहुत जटिल है, तो केवल उन विशिष्ट मामलों के लिए GPT-4 जैसे उच्च-गुणवत्ता वाले मॉडल का उपयोग करें।
महंगे मॉडल्स को टेक्स्ट के बड़े ब्लॉक भेजना बंद करें। पहले डेटा को छोटा करें।
आप अपने प्रोडक्ट्स में AI क्वालिटी और लागत के बीच संतुलन कैसे बनाते हैं? क्या आप अलग-अलग कार्यों के लिए अलग-अलग मॉडल्स का उपयोग करते हैं?