𝗧𝗮𝗺𝗶𝗻𝗴 𝗟𝗼𝗻𝗴 𝗗𝗼𝗰𝘂𝗺𝗲𝗻𝘁𝘀 𝘄𝗶𝘁𝗵 𝗟𝗟𝗠𝘀
मी १०० पानांच्या तांत्रिक PDF मधून प्रश्नांची उत्तरे देणारी एक प्रणाली तयार केली.
साधे स्क्रिप्ट्स अपयशी ठरले. मी अनेक आठवडे टोकन मर्यादा आणि उच्च खर्चाशी संघर्ष केला.
माझ्या पहिल्या प्रयत्नात मी पूर्ण मजकुरासाठी GPT-4 वापरले. हे १० पानांसाठी काम करत होते. १०० पानांवर पोहोचल्यावर, मी टोकन मर्यादेपर्यंत पोहोचलो. मॉडेल मधला तपशील विसरू लागले. खर्च खूप जास्त होता.
मी या पद्धती वापरून पाहिल्या:
- बेसिक चंकिंग (Basic chunking): मॉडेलने चुकीचे विभाग निवडले. त्याचा संदर्भ (context) सुटला.
- मॅप-रिड्यूस (Map-reduce): मी विशिष्ट तपशील गमावले.
- स्लाइडिंग विंडोज (Sliding windows): हे खूप संथ आणि महाग होते.
मी मानवी वाचन पद्धतीची नक्कल केली. आपण प्रथम अनुक्रमणिका (table of contents) वर नजर टाकतो. त्यानंतर आपण विशिष्ट विभाग वाचतो.
ही आहे नवीन कार्यप्रणाली (workflow):
- एक श्रेणीबद्ध रचना (hierarchy) तयार करा. प्रत्येक चंकसाठी (chunk) थोडक्यात सारांश तयार करण्यासाठी LLM वापरा.
- सारांश आणि पूर्ण मजकूर वेक्टर डेटाबेसमध्ये (vector database) साठवा.
- हायब्रिड सर्च (hybrid search) वापरा. कीवर्ड्स आणि सिमेंटिक सर्च (semantic search) यांचे एकत्रीकरण करा.
- प्रथम पहिले ३ सारांश मिळवा (retrieve).
- त्या सारांशांसाठी पूर्ण मजकूर मिळवा.
- हा संदर्भ (context) LLM ला द्या.
निकाल:
- खर्च ७०% ने कमी झाला.
- तांत्रिक शब्द आता अचूक आहेत.
- अचूकता सुधारली.
तुमच्या सेटअपसाठी काही टिप्स:
- सारांशांसाठी GPT-3.5 वापरा.
- अंतिम उत्तरासाठी GPT-4 वापरा.
- सुरुवातीलाच एक टेस्ट डेटासेट तयार करा.
- २० पानांपेक्षा कमी असलेल्या दस्तऐवजांसाठी प्रॉम्प्टमध्ये थेट मजकूर भरा (Stuff the prompt).