𝗠𝘆 𝗔𝗜 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝘁𝗶𝗼𝗻 𝗖𝗼𝘀𝘁 𝗧𝗼𝗼 𝗠𝘂𝗰𝗵 𝗨𝗻𝘁𝗶𝗹 𝗜 𝗖𝗵𝗮𝗻𝗴𝗲𝗱 𝗠𝘆 𝗔𝗽𝗽𝗿𝗼𝗮𝗰𝗵 जोपर्यंत मी माझा दृष्टिकोन बदलला नाही, तोपर्यंत माझ्या AI इंटिग्रेशनचा खर्च खूप जास्त होता.
जोपर्यंत बिल आले नाही, तोपर्यंत मला माझे AI समरायझेशन (summarization) फीचर खूप आवडले होते.
गेल्या महिन्यात, मी लांब लेख सारांशित (summarize) करण्यासाठी एक टूल बनवले. मी साध्या प्रॉम्प्टसह GPT-4 वापरले. ते उत्तम प्रकारे काम करत होते. युजर्सना त्याची गुणवत्ता खूप आवडली.
मग बिल आले. एका महिन्याच्या वापरासाठी मला $१,२०० पेक्षा जास्त खर्च आला. मला हे सुधारणे आवश्यक होते किंवा ते फीचर बंद करणे भाग होते.
हे सुधारण्यासाठी मी अनेक गोष्टी करून पाहिल्या:
- मी GPT-3.5-turbo वर स्विच केले. खर्च कमी झाला, पण गुणवत्ता घटली. सारांश अस्पष्ट झाले.
- मी प्रॉम्प्ट इंजिनिअरिंग (prompt engineering) करून पाहिले. "be specific" जोडल्याने फारसा फायदा झाला नाही.
- मी extractive libraries वापरून इनपुटचा आकार कमी करण्याचा प्रयत्न केला. यामुळे मदत झाली, पण खर्च तरीही जास्तच होता.
मला जाणवले की मी एका लहान कामासाठी खूप मोठी आणि महागडी पद्धत वापरत होतो.
याचे समाधान म्हणजे 'टू-स्टेप पाइपलाइन' (two-step pipeline). सर्वोत्तम परिणाम मिळवण्यासाठी तुम्ही दोन वेगवेगळ्या पद्धती एकत्र करू शकता.
स्टेप १: एक्सट्रॅक्टिव्ह फेज (Extractive Phase) लेखातील सर्वात महत्त्वाचे ५ ते १० वाक्ये निवडण्यासाठी TextRank सारखे स्वस्त आणि वेगवान टूल वापरा. यामुळे ९०% अतिरिक्त मजकूर निघून जातो.
स्टेप २: ॲबस्ट्रॅक्टिव्ह फेज (Abstractive Phase) फक्त ती काही वाक्ये GPT-3.5-turbo सारख्या लहान आणि स्वस्त मॉडेलला पाठवा. त्यांना ती वाक्ये ३ बुलेट पॉइंट्समध्ये स्वच्छ सारांश म्हणून पुन्हा लिहिण्यास सांगा.
या दृष्टिकोनामुळे माझा खर्च ८०% ने कमी झाला. गुणवत्ता GPT-4 च्या जवळच राहिली कारण मॉडेलने फक्त सर्वात महत्त्वाच्या डेटावर प्रक्रिया केली.
तुमच्या AI बिल्ड्ससाठी इतर काही टिप्स:
- कॅशिंग (caching) वापरा. लेखाच्या हॅशनुसार (article hash) निकाल साठवून ठेवा जेणेकरून तुम्हाला एकाच सारांशासाठी दोनदा पैसे द्यावे लागणार नाहीत.
- लेयर्स (layers) वापरा. गुंतागुंतीची कामे लहान आणि स्वस्त उप-कामांमध्ये (sub-tasks) विभागून घ्या.
- फॉलबॅक (fallback) सेट करा. जर एखादा लेख खूप गुंतागुंतीचा असेल, तर फक्त अशा विशिष्ट प्रकरणांसाठी GPT-4 सारखे उच्च-गुणवत्तेचे मॉडेल वापरा.
महागड्या मॉडेल्सना मजकुराचे मोठे भाग पाठवणे थांबवा. आधी डेटा कमी करा.
तुम्ही तुमच्या उत्पादनांमध्ये AI गुणवत्ता आणि खर्च यांचा समतोल कसा राखता? तुम्ही वेगवेगळ्या कामांसाठी वेगवेगळी मॉडेल्स वापरता का?