तुमचे बजेट न बिघडवता LLMs कसे वापरावे
AI डेमो तयार करणे सोपे आहे. तुम्हाला एक API की मिळते, एक प्रॉम्प्ट लिहिता आणि ते काम करते.
पण ते खऱ्या वापरकर्त्यांपर्यंत पोहोचवणे वेगळे आहे. ट्रॅफिक येते आणि तुमचा खर्च वाढतो. तुमची लॅटन्सी (latency) वाढते. तुमची फायनान्स टीम प्रश्न विचारू लागते.
डेमो आणि खरा उत्पादन (product) यांच्यातील फरक म्हणजे इंजिनिअरिंग. तुम्हाला खर्च आणि वेग यांचे व्यवस्थापन करावे लागेल.
पैसे वाचवण्यासाठी तुमच्या आउटपुटवर नियंत्रण ठेवा
बहुतेक APIs प्रति टोकन शुल्क आकारतात. तुम्ही काय पाठवता आणि ते काय परत पाठवतात यावर शुल्क आकारले जाते. इनपुट टोकनपेक्षा आउटपुट टोकन महाग असतात.
फक्त तुमचे प्रॉम्प्ट्स कमी करू नका. उत्तरावर लक्ष केंद्रित करा. • JSON साठी विचारा. • एका वाक्यात उत्तर मागा. • कमाल टोकन मर्यादा (max token limit) सेट करा. • मॉडेलला संक्षिप्त उत्तर देण्यास सांगा.
छोटी उत्तरे स्वस्त आणि जलद असतात.
कॉल्सची संख्या कमी करा
सर्वात स्वस्त कॉल तो असतो जो तुम्ही कधीच करत नाही.
- कॅशिंगचा (caching) वापर करा. अनेक वापरकर्ते सारखेच प्रश्न विचारतात. कॅशमुळे संथ API कॉलचे रूपांतर जलद लूकअपमध्ये होते.
- राउटरचा (router) वापर करा. प्रत्येक कामासाठी तुम्हाला मोठ्या मॉडेलची गरज नसते. सोप्या कामांसाठी लहान, स्वस्त मॉडेल वापरा. कठीण कामांसाठीच महागडे मॉडेल वापरा.
युजर एक्सपिरियन्स (user experience) सुधारा
कधीकधी तुम्ही मॉडेलचा वेग वाढवू शकत नाही. पण ते वेगवान असल्यासारखे वाटू शकता.
- रिस्पॉन्स स्ट्रीम (Stream responses) करा. मजकूर तयार होत असतानाच तो दाखवा. वापरकर्ते लगेच वाचायला सुरुवात करतात. यामुळे प्रतीक्षा वेळ कमी वाटतो.
- प्रगती (progress) दाखवा. जर कामाचे टप्पे असतील, तर वापरकर्त्याला सांगा. रिकाम्या लोडिंग स्पिनरऐवजी "Searching documents..." सारखे संदेश वापरा.
संथ विनंत्यांचे (requests) व्यवस्थापन करा
काही अतिशय संथ विनंत्या तुमचे उत्पादन खराब करू शकतात. त्यांना अडकून पडू देऊ नका.
- कडक टाइमआउट्स (timeouts) सेट करा. विनंतीला खूप वेळ लागल्यास काय करायचे हे ठरवा.
- मर्यादेसह रिट्राय (retries) वापरा. कायमस्वरूपी प्रयत्न करू नका.
- सर्किट ब्रेकर्सचा (circuit breakers) वापर करा. जर प्रदाता (provider) डाउन असेल, तर विनंत्या पाठवणे थांबवा आणि फॉलबॅक (fallback) दाखवा.
तुमचा डेटा ट्रॅक करा
तुम्ही मोजू शकत नाही अशा गोष्टी तुम्ही सुधारू शकत नाही. प्रत्येक विनंतीसाठी या तीन गोष्टी लॉग (log) करा: • इनपुट टोकन • आउटपुट टोकन • एकूण लॅटन्सी (Total latency)
हे फिचरनुसार ट्रॅक करा. तुम्हाला बहुधा असे एखादे विशिष्ट फिचर सापडेल ज्यामुळे तुमचा बहुतेक खर्च होतो.
मॉडेलकडे जादू म्हणून पाहणे थांबवा. ते एक संथ, महागडे डिपेंडन्सी (dependency) आहे ज्याचे तुम्हाला व्यवस्थापन करावे लागेल, असे समजा.