𝗠𝘆 𝗔𝗜 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝘁𝗶𝗼𝗻 𝗖𝗼𝘀𝘁 𝗧𝗼𝗼 𝗠𝘂𝗰𝗵 𝗨𝗻𝘁𝗶𝗹 𝗜 𝗖𝗵𝗮𝗻𝗴𝗲𝗱 𝗠𝘆 𝗔𝗽𝗽𝗿𝗼𝗮𝗰𝗵
பில் வரும் வரை எனது AI சுருக்க அம்சத்தை (summarization feature) நான் மிகவும் விரும்பினேன்.
கடந்த மாதம், நீண்ட கட்டுரைகளைச் சுருக்க ஒரு கருவியை உருவாக்கினேன். ஒரு எளிய பிராம்ப்ட் (prompt) மூலம் GPT-4 ஐப் பயன்படுத்தினேன். அது மிகச்சரியாகச் செயல்பட்டது. பயனர்கள் அதன் தரத்தை விரும்பினார்கள்.
பிறகு பில் வந்தது. ஒரு மாதப் பயன்பாட்டிற்காக எனக்கு $1,200-க்கும் மேல் செலவானது. இதைச் சரிசெய்ய வேண்டும் அல்லது அந்த அம்சத்தையே கைவிட வேண்டும் என்ற நிலை ஏற்பட்டது.
அதைச் சரிசெய்ய நான் பல முயற்சிகளை மேற்கொண்டேன்:
- நான் GPT-3.5-turbo க்கு மாறினேன். செலவு குறைந்தது, ஆனால் தரம் குறைந்தது. சுருக்கங்கள் தெளிவற்றதாக மாறின.
- நான் பிராம்ப்ட் இன்ஜினியரிங் (prompt engineering) முறையை முயற்சி செய்தேன். "குறிப்பாக இரு" (be specific) என்று சேர்த்தது போதுமான உதவியாக இல்லை.
- extractive libraries பயன்படுத்தி உள்ளீட்டு அளவைக் குறைக்க முயன்றேன். இது உதவியது, ஆனால் செலவுகள் அதிகமாகவே இருந்தன.
ஒரு சிறிய ஆணியடிக்க பெரிய சுத்தியலைப் பயன்படுத்துவது போல நான் செய்து கொண்டிருக்கிறேன் என்பதை உணர்ந்தேன்.
இதற்கான தீர்வு இரண்டு படிநிலைகளைக் கொண்ட ஒரு வழிமுறை (pipeline). சிறந்த முடிவுகளைப் பெற நீங்கள் இரண்டு வெவ்வேறு முறைகளை இணைக்க வேண்டும்.
படி 1: பிரித்தெடுத்தல் நிலை (The Extractive Phase) கட்டுரையில் உள்ள முக்கியமான 5 முதல் 10 வாக்கியங்களைத் தேர்ந்தெடுக்க TextRank போன்ற மலிவான, வேகமான கருவியைப் பயன்படுத்தவும். இது தேவையற்ற உரையில் 90% பகுதியை நீக்கிவிடும்.
படி 2: சுருக்க நிலை (The Abstractive Phase) அந்தச் சில வாக்கியங்களை மட்டும் GPT-3.5-turbo போன்ற ஒரு சிறிய, மலிவான மாடலுக்கு அனுப்பவும். அந்த வாக்கியங்களை ஒரு தெளிவான 3-புல்லட் (3-bullet) சுருக்கமாக மாற்றச் சொல்லவும்.
இந்த அணுகுமுறை எனது செலவை 80% குறைத்தது. மாடல் மிக முக்கியமான தரவை மட்டுமே கையாண்டதால், அதன் தரம் GPT-4 க்கு நெருக்கமாக இருந்தது.
உங்கள் AI உருவாக்கங்களுக்கான பிற குறிப்புகள்:
- கேச்சிங் (caching) முறையைப் பயன்படுத்தவும். ஒரே சுருக்கத்திற்காக நீங்கள் மீண்டும் மீண்டும் பணம் செலுத்தாமல் இருக்க, கட்டுரையின் ஹாஷ் (hash) மூலம் முடிவுகளைச் சேமிக்கவும்.
- அடுக்குகளைப் (layers) பயன்படுத்தவும். சிக்கலான பணிகளைச் சிறிய, மலிவான துணைப் பணிகளாகப் பிரிக்கவும்.
- ஒரு மாற்றுத் திட்டத்தை (fallback) வைத்திருங்கள். ஒரு கட்டுரை மிகவும் சிக்கலானதாக இருந்தால், அந்த குறிப்பிட்ட சந்தர்ப்பங்களில் மட்டும் GPT-4 போன்ற உயர்தர மாடலைப் பயன்படுத்தவும்.
விலையுயர்ந்த மாடல்களுக்குப் பெரிய அளவிலான உரைகளை அனுப்புவதை நிறுத்துங்கள். முதலில் தரவின் அளவைக் குறைக்கவும்.
உங்கள் தயாரிப்புகளில் AI தரம் மற்றும் செலவை எவ்வாறு சமநிலைப்படுத்துகிறீர்கள்? வெவ்வேறு பணிகளுக்கு வெவ்வேறு மாடல்களைப் பயன்படுத்துகிறீர்களா?