பெரிய ஆவணத் தேடலுக்கு Claude Code-ஐ எவ்வாறு வேகப்படுத்துவது?
Claude Code பத்து கோப்புகளுடன் சிறப்பாகச் செயல்படும். ஆனால் நூற்றுக்கணக்கான PDF கோப்புகள் இருக்கும்போது அதன் வேகம் குறைகிறது.
உங்கள் கோப்புகளின் எண்ணிக்கை அதிகரிக்கும் போது, நீங்கள் மூன்று பிரச்சனைகளை எதிர்கொள்கிறீர்கள்:
- மாடல் அதிகப்படியான உரையைப் படிப்பதால் வேகம் குறைகிறது.
- ஒவ்வொரு ஸ்கேன் செய்யப்பட்ட டோக்கனுக்கும் நீங்கள் பணம் செலுத்த வேண்டியிருப்பதால் செலவுகள் அதிகரிக்கின்றன.
- பதிலைக் கண்டறிய முடியாதபோது மாடல் யூகிக்கக்கூடும் என்பதால் துல்லியம் குறைகிறது.
பிரச்சனை மாடலில் இல்லை. பிரச்சனை தேடல் உத்தியில் (search strategy) உள்ளது.
இயல்பாகவே, Claude Code கோப்புகளை நேரடியாகப் படிக்கிறது. ஒரு பதிலைக் கண்டறிய அது அனைத்தையும் ஸ்கேன் செய்கிறது. இது உங்கள் கேள்வியின் கடினத்தன்மையைப் பொறுத்து இல்லாமல், உங்கள் நூலகத்தின் (library) அளவைப் பொறுத்து மாறுபடுகிறது.
இதற்கான தீர்வு Retrieval Augmented Generation (RAG) ஆகும்.
ஒரு பெரிய வேலையாகச் செய்வதற்குப் பதிலாக, நீங்கள் வேலையைப் பிரிக்கலாம்: • ஒரு retrieval layer முதலில் ஏற்கனவே உருவாக்கப்பட்ட index-ஐத் தேடுகிறது. • இது பதிலைக் கொண்டுள்ள குறிப்பிட்ட பகுதிகளைக் கண்டறிகிறது. • அந்தச் சிறிய பகுதிகளை மட்டுமே Claude Code-க்கு வழங்குகிறது.
இது வேலையைத் தொடர்ச்சியாக வைத்திருக்கிறது. உங்களிடம் ஐம்பது கோப்புகள் இருந்தாலும் அல்லது ஐம்பதாயிரம் கோப்புகள் இருந்தாலும், Claude ஒரு சிறிய அளவிலான உரையை மட்டுமே படிக்கும்.
இதை Model Context Protocol (MCP) மூலம் Claude Code-உடன் இணைக்கலாம். ஒரு MCP server என்பது சரியான தரவைப் பெறுவதற்கு Claude அழைக்கும் ஒரு கருவியாகச் செயல்படுகிறது.
இதன் முடிவுகள் குறிப்பிடத்தக்கவை. 500 PDF கோப்புகளில் செய்யப்பட்ட ஒரு சோதனை, RAG layer-ஐப் பயன்படுத்துவது இந்தச் செயல்பாட்டை பின்வருமாறு மாற்றியமைத்தது என்பதைக் காட்டியது: • 4.2x வேகமானது. • 3.2x மலிவானது. • அதிக நம்பகமானது.
நேரடி கோப்புத் தேடலை (direct file search) எப்போது பயன்படுத்த வேண்டும்:
- உங்கள் கோப்புகள் குறைவாக இருக்கும்போது (சில டஜன் குறைவானவை).
- கோப்புகள் ஒவ்வொரு நிமிடமும் மாறிக் கொண்டிருக்கும்போது.
- உங்களுக்கு விரைவான, ஆய்வுத் தேடல் (exploratory work) தேவைப்படும்போது.
RAG layer-ஐ எப்போது பயன்படுத்த வேண்டும்:
- உங்கள் ஆவணங்களின் தொகுப்பு பெரியதாகவோ அல்லது வளர்ந்து கொண்டே இருந்தாலோ.
- நீங்கள் அடிக்கடி ஒரே அறிவுத் தளத்தை (knowledge base) தேடுகிறீர்கள் என்றால்.
- செலவு மற்றும் துல்லியம் ஆகியவை முன்னுரிமைகளாக இருக்கும்போது.
இதைச் செயல்படுத்த:
- உங்கள் ஆவணங்களை முன்கூட்டியே index செய்யவும்.
- பொருளைச் சிதைக்காமல் இருக்க semantic chunking-ஐப் பயன்படுத்தவும்.
- ஒரு MCP server மூலம் index-ஐ வெளிப்படுத்தவும்.
- பெறப்பட்ட துண்டுகளை (retrieved chunks) மட்டுமே பயன்படுத்தி பதிலளிக்குமாறு Claude-இடம் கூறவும்.
Architecture உங்கள் வேகத்தைத் தீர்மானிக்கிறது. சிறிய பணிகளுக்கு நேரடித் தேடலைப் பயன்படுத்தவும். பெரிய அளவிலான பணிகளுக்கு RAG-ஐப் பயன்படுத்தவும்.
விருப்பமான கற்றல் சமூகம்: https://t.me/GyaanSetuAi