Enterprise AI projects have a pattern. A team builds a prototype. The demo looks impressive. Then, three months later, t

நிறுவன ரீதியிலான AI திட்டங்கள் ஒரு குறிப்பிட்ட முறையைப் பின்பற்றுகின்றன. ஒரு குழு ஒரு முன்மாதிரியை (prototype) உருவாக்குகிறது. அதன் செயல்விளக்கம் (demo) மிகவும் ஈர்க்கக்கூடியதாக இருக்கும். ஆனால், மூன்று மாதங்களுக்குப் பிறகு, அந்த அமைப்பு சரி되기த் தொடங்குகிறது. பதில்கள் திசைமாறுகின்றன. செலவுகள் அதிகரிக்கின்றன. ஒரு இணக்க அதிகாரி (compliance officer) ஒரு குறிப்பிட்ட பதில் எங்கிருந்து வந்தது என்று கேட்டால், அந்த அறையில் உள்ள எவராலும் சொல்ல முடிவதில்லை.

இந்த வீழ்ச்சி அரிதாகவே மோசமான குறியீட்டினால் (code) தொடங்குகிறது. இது ஒரு கட்டடக்கலைத் தேர்வினால் (architectural choice) தொடங்குகிறது, ஆனால் அது ஒரு பிரபலப் போட்டியாகக் கருதப்படுகிறது: Retrieval-Augmented Generation மற்றும் fine-tuning இடையிலான தேர்வு.

RAG மற்றும் fine-tuning ஆகிய இரண்டும் ஒரே தயாரிப்பின் இரண்டு பதிப்புகள் அல்ல. அவை அடிப்படையில் வேறுபட்ட கருவிகள். ஒன்று ஒரு மாடல் எதைப் பார்க்க முடியும் என்பதைக் கட்டுப்படுத்துகிறது. மற்றொன்று ஒரு மாடல் எவ்வாறு செயல்படுகிறது என்பதைக் கட்டுப்படுத்துகிறது. ஒரு வேலைக்குத் தவறான ஒன்றைத் தேர்ந்தெடுப்பது முன்மாதிரியில் தெரியாது. ஆனால் வணிகம் அதன் அடிப்படையில் இயங்கத் தொடங்கும் போது அது வெளிப்படும்.

செயல்விளக்கப் பொறி

ஒரு generative AI அம்சத்தை விரைவாக வெளியிடுவதற்கான அழுத்தம் அதிகமாக உள்ளது. ஒரு நன்கு எழுதப்பட்ட பயிற்சிகளில் (tutorial) பார்த்ததாலோ அல்லது ஒரு விற்பனையாளரின் ஸ்லைடு டெக் (slide deck) அதை எளிதாகக் காட்டியதாலோ குழுக்கள் பெரும்பாலும் ஒரு முறையைத் தேர்ந்தெடுக்கின்றன. உள்கட்டமைப்பு முடிவுகளை எடுக்க இது ஒரு மோசமான வழியாகும்.

ஒரு கட்டுப்படுத்தப்பட்ட செயல்விளக்கத்தில் (controlled demo), ஒரு fine-tuned மாடல் மாயாஜாலமாகத் தோன்றலாம். அது உங்கள் நிறுவனத்தின் குரலில் பேசும் மற்றும் உங்கள் தயாரிப்புப் பெயர்களை அடையாளம் காணும். ஒரு RAG pipeline-ம் மாயாஜாலமாகத் தோன்றலாம். அது எந்தப் பயிற்சியும் அளிக்கப்படாத ஒரு ஆவணத்தைப் பற்றிய கேள்விகளுக்குப் பதிலளிக்கும். ஆனால் செயல்விளக்கம் அதன் செயல்பாட்டு யதார்த்தத்தை மறைக்கிறது. உங்கள் விலை தரவு வாராவாரம் மாறுகிறது மற்றும் நீங்கள் கடந்த காலாண்டின் எண்களைக் கொண்டு fine-tuning செய்திருந்தால், மாடல் நம்பிக்கையுடன் காலாவதியான எண்களைக் கூறும். உங்கள் ஆதரவுக் குழு ஒவ்வொரு பதிலையும் ஒரு குறிப்பிட்ட கொள்கை PDF-உடன் தொடர்புபடுத்த வேண்டியிருந்தால், ஒரு fine-tuned மாடல் உங்களுக்குக் குறிப்புகளை (footnotes) வழங்காது. அது வெறும் உரையை (text) மட்டுமே வழங்கும்.

RAG என்பதன் உண்மையான பொருள்

RAG என்பது Retrieval-Augmented Generation என்பதைக் குறிக்கிறது, ஆனால் அதன் பெயர் அதை விட சிக்கலானதாகத் தோன்றச் செய்கிறது. அதன் மையப்பகுதியில், RAG ஒரு கேள்விக்கு பதிலளிக்கிறது: மாடல் இப்போது எதைத் தேட வேண்டும்?

ஒரு வாடிக்கையாளர் சேவை முகவர், ஒரு புகாருக்குப் பதிலளிப்பதற்கு முன் நிறுவனத்தின் விக்கி (wiki) பக்கத்தைத் தேட அனுமதிக்கப்படுவதைக் கற்பனை செய்து பாருங்கள். RAG சரியாக அதையே தானாகச் செய்கிறது. ஒரு பயனர் கேள்வி கேட்கும்போது, அமைப்பு ஒரு vector database அல்லது ஆவணச் சேமிப்பகத்தில் (document store) தொடர்புடைய உரைத் துண்டுகளைத் (chunks of text) தேடுகிறது. பின்னர் அந்தத் துண்டுகளை அசல் கேள்வியுடன் சேர்த்து சூழலாக (context) மொழி மாடலுக்கு (language model) வழங்குகிறது. பெறப்பட்ட ஆதாரங்களின் அடிப்படையில் மாடல் ஒரு பதிலை உருவாக்குகிறது.

உங்கள் அறிவுத் தளம் (knowledge base) மாடலுக்கு வெளியே இருக்கும்போது இந்த அணுகுமுறை சிறப்பாகச் செயல்படும். தயாரிப்பு ஆவணங்கள், சட்டப் பதிவுகள், மருத்துவ ஆராய்ச்சி மற்றும் இருப்புப் பட்டியல்கள் (inventory spreadsheets) என அனைத்தும் மாறிக் கொண்டே இருக்கும். RAG ஒரு எடையையும் (weight) மீண்டும் பயிற்றுவிக்காமல் மாடலைத் தற்போதைய நிலையில் வைத்திருக்கும். இது ஒரு இயற்கையான தணிக்கைப் பாதையையும் (audit trail) உருவாக்குகிறது. எந்த ஆவணங்கள் பெறப்பட்டன என்பது உங்களுக்குத் தெரிந்துவிடுவதால், ஒரு தணிக்கையாளர் அல்லது ஒழுங்குமுறை அதிகாரியிடம் ஒரு பதில் எங்கிருந்து வந்தது என்பதைத் துல்லியமாகக் காட்ட முடியும்.

Fine-Tuning என்பதன் உண்மையான பொருள்

Fine-tuning ஒரு வேறு கேள்விக்கு பதிலளிக்கிறது: மாடல் எவ்வாறு செயல்பட வேண்டும்?

மாடலுக்கு வெளிப்புற வாசிப்புப் பொருட்களைத் தருவதற்குப் பதிலாக, உதாரணங்கள் மூலம் நீங்கள் அதற்குப் பயிற்றுவிக்கிறீர்கள். உங்களுக்குத் தேவையான வெளியீடுகளின் நூற்றுக்கணக்கான அல்லது ஆயிரக்கணக்கான உதாரணங்களைச் சேகரித்து, அந்தத் தரவைக் கொண்டு அடிப்படை மாடலுக்கு (base model) தொடர்ந்து பயிற்சியளிக்கிறீர்கள். இந்தச் செயல்முறை உண்மையில் மாடலின் உள் அளவுருக்களை (internal parameters) மாற்றியமைக்கிறது. இது எடைகளை (weights) மாற்றுகிறது.

இதன் விளைவாக, வடிவங்களை உள்வாங்கிய (internalized patterns) ஒரு மாடல் கிடைக்கிறது.