ஒரு டெவலப்பர் 350 மில்லியன் அளவுருக்கள் (parameters) கொண்ட ஒரு மொழி மாதிரியை (language model) எடுத்து, அதை ஃபைன்-டியூன் (fine-tune) செய்து, எந்தவொரு நவீன இணைய உலாவியிலும் (web browser) இயங்கக்கூடிய ஒரு முழுமையான AI உதவியாளராகப் பயன்படுத்தினார்—இதற்கு சர்வர் அழைப்புகள் (server calls), API சாவிகள் (API keys) அல்லது கிளவுட் கட்டணங்கள் (cloud bill) தேவையில்லை.
இந்தத் திட்டம் மாதிரியின் எடைகளை (weights) ஒரு நிலையான வலைப்பக்கத்துடன் (static webpage) வழங்குகிறது, இதன் மூலம் ஏஜென்ட் கருவிகளைத் தேர்ந்தெடுக்கவும், ஆர்குமென்ட்களை (arguments) இணைக்கவும், “இரண்டாவது ஒன்று” போன்ற குறிப்புகளைத் தீர்க்கவும் மற்றும் தகவல் இல்லாதபோது பதிலளிக்க மறுக்கவும் முடிகிறது—இவை அனைத்தும் உங்கள் தரவு உங்கள் சொந்த சாதனத்திலேயே இருக்கும்படி செய்யப்படுகின்றன.
உலாவியில் இயங்கும் ஏஜென்ட் எவ்வாறு உருவாக்கப்பட்டது
இதன் தொடக்கப்புள்ளி LiquidAI-ன் LFM2.5 குடும்பம், குறிப்பாக 230 M மற்றும் 350 M அளவுரு மாறுபாடுகள் (variants) ஆகும்.
தயாரிப்பு பட்டியல்கள் அல்லது விலை அட்டவணைகளை மாதிரியில் திணிப்பதற்குப் பதிலாக, பயிற்சியாளர் அதன் ஊடாடும் முறைகளை (patterns of interaction) கற்பித்தார். ஏஜென்ட் ஒரு குறிப்பிட்ட SKU-வை அறியாது; மாறாக அது பின்வருவனவற்றை கற்றுக்கொள்கிறது:
- ஒரு குறிப்பிட்ட கோரிக்கைக்குப் பொருத்தமான கருவியைத் தேர்ந்தெடுப்பது.
- அந்த கருவிக்குச் சரியான ஆர்குமென்ட்கள் மற்றும் அடையாளர்களை (identifiers) இணைப்பது.
- தெளிவற்ற குறிப்புகளைப் புரிந்துகொள்வது (“ஒரு டஜன்,” “இரண்டாவது ஒன்று”).
- வெளிப்புற உரையைப் பெற்று, கேள்விகளுக்குப் பதிலளிக்கப் பயன்படுத்துவது.
- தேவையான தகவல் இல்லாதபோது மறுப்பது.
- உரையாடலைத் தலைப்பிலேயே வைத்திருப்பது.
கருவித் தொகுப்பு (toolset) வேண்டுமென்றே நிலையானது: list_items, get_item, search_knowledge, add_to_cart, remove_from_cart, clear_cart, checkout, மற்றும் navigate. இந்தத் தொகுப்பை நிலையாக வைத்திருப்பது, மாதிரி கருவி ஐடிகளை (tool IDs) மனப்பாடம் செய்வதைத் தடுக்கிறது மற்றும் ஃபைன்-டியூனிங் தரவைச் சிறியதாக வைக்க உதவுகிறது.
இந்த அமைப்பை இலகுவாக வைத்திருக்க மூன்று பொறியியல் முடிவுகள் எடுக்கப்பட்டுள்ளன:
- நிலையான கருவிப் பட்டியல் (Frozen tool roster) – மாதிரி ஒரு குறிப்பிட்ட செயல்களின் பட்டியலைப் பார்ப்பதால், அதற்குப் பெரிய அளவிலான கருவிப் பெயர்கள் தேவையில்லை.
- ஒரு கருவியாக RAG – Retrieval-augmented generation (RAG) மற்ற செயல்பாடுகளைப் போலவே செயல்படுகிறது. ஏஜென்ட் உரையைப் பெற
search_knowledge-ஐ அழைக்கிறது, பின்னர் அந்த உரையை நேரடியாக அதன் பதிலில் சேர்க்கிறது; இது தாமதத்தையும் (latency) மெமரி சுமையையும் (memory overhead) அதிகரிக்கும் தனிப்பயன் மீட்டெடுப்பு வழிமுறையைத் (retrieval pipeline) தவிர்க்கிறது. - இலக்கணக் கட்டுப்பாட்டு டீகோடிங் (Grammar-constrained decoding) – உருவாக்கும் போது, டீகோடர் ஒரு எளிய இலக்கணத்தைப் பின்பற்றுகிறது, இது வெளியீட்டைச் சரியான கருவி அழைப்பு அமைப்பிற்குள் (tool-call structure) கட்டாயப்படுத்துகிறது. இந்தத் கட்டுப்பாடு தேவையற்ற டோக்கன்களை (tokens) விரயமாக்குவதைத் தவிர்க்கிறது மற்றும் தவறான கட்டளைகளைக் குறைக்கிறது.
பயிற்சியில் செயற்கைத் தரவு வடிகட்டுதல் (synthetic data distillation) பயன்படுத்தப்பட்டது. ஆசிரியர் 18 ஊடாடும் முறைகளை (interaction recipes) வரையறுத்தார், ஒவ்வொன்றும் ஒரு பொதுவான பயனர்-உதவியாளர் பரிமாற்றத்தை விவரிக்கிறது. ஒரு பெரிய “ஆசிரியர்” (teacher) மாதிரி இயற்கை மொழிப் பகுதியை உருவாக்கியது, அதே நேரத்தில் ஒரு தீர்மானிக்கப்பட்ட ஸ்கிரிப்ட் (deterministic script) துல்லியமான கருவி அழைப்பு வடிவத்தை உருவாக்கியது. ஃபைன்-டியூனிங் செயல்முறை தோராயமாக 30 மில்லியன் டோக்கன்களைப் பயன்படுத்தியது மற்றும் 16 GB மெமரி கொண்ட ஒரு ஒற்றை GPU-வில் பொருந்தியது.
சாதனத்திலேயே இயங்குவதன் முக்கியத்துவம்
- தனியுரிமை (Privacy) – அனைத்து பயனர் ப்ராம்ப்ட்களும் (prompts) உலாவியின் மெமரியிலேயே இருக்கும். எந்தத் தரவும் சாதனத்தை விட்டு வெளியேறாது, இது முக்கியமான வினவல்களுக்கு (queries) மிகவும் அவசியம்.
- ஆஃப்லைன் வசதி (Offline capability) – மாதிரி உள்ளூர் சேமிப்பகத்தில் (cached locally) இருப்பதால், இணைய இணைப்பு இல்லாமலேயே உதவியாளர் செயல்படுவார், இது களப்பணி அல்லது பயணங்களின் போது சாத்தியக்கூறுகளைத் திறக்கிறது.
- செலவு (Cost) – நிலையான மாதிரி கோப்புகளை வழங்குவதன் மூலம், மீண்டும் மீண்டும் தேவைப்படும் GPU-ஆல் இயங்கும் இன்ஃபரன்ஸ் சர்வர்கள் (inference servers) அல்லது அழைப்பிற்கான API கட்டணங்களைத் தவிர்க்கலாம்.
- அணுகல்தன்மை (Accessibility) – சிக்கலான இணைய இடைமுகங்களை குரல் மூலம் வழிநடத்துவது குறைந்த திறன் கொண்ட சாதனங்களிலும் சாத்தியமாகும், இது உதவித் தொழில்நுட்பங்களைச் சார்ந்திருக்கும் பயனர்களுக்கும் இணையப் பயன்பாடுகளின் சென்றடைவை விரிவுபடுத்துகிறது.
இந்த நன்மைகள் உரையாடலை “ஒரு பிரம்மாண்டமான மாதிரி இதற்குப் பதிலளிக்க முடியுமா?” என்பதிலிருந்து “பயனுள்ள உதவியை வழங்கும் அதே வேளையில், ஒரு மாதிரியை எவ்வளவு சிறியதாக வைத்திருக்க முடியும்?” என்பதற்கு மாற்றுகின்றன.
சாத்தியமான வரம்புகள்
இந்த அளவுள்ள மாதிரி கலைக்களஞ்சியத் தகவல்களைத் தக்கவைக்க முடியாது. ஒரு பயனர் ஒரு குறிப்பிட்ட தயாரிப்பு விலை அல்லது சமீபத்திய செய்தியைப் பற்றி கேட்கும்போது, உதவியாளர் search_knowledge மூலம் தகவலைப் பெறுவார் அல்லது மரியாதையுடன் மறுப்பார். இந்த வடிவமைப்பு தனியுரிமையைப் பாதுகாக்கிறது, ஆனால் அதே நேரத்தில் அமைப்பை அதன் வெளிப்புற அறிவு மூலத்தின் தரம் மற்றும் புதுமையுடன் இணைக்கிறது.
அடுத்து கவனிக்க வேண்டியவை
பொது டெமோ ஒரு எளிய GitHub Pages URL-இல் உள்ளது, மேலும் அதன் மூலக் குறியீடு (source code) வெளிப்படையாகக் கிடைக்கிறது.
முக்கியக் கருத்து (Takeaway): ஒரு மிதமான அளவுள்ள LLM-க்கு ஒரு கண்டிப்பான கருவி இலக்கணத்தைப் (tool grammar) பின்பற்றக் கற்பிப்பதன் மூலமும், மீட்டெடுப்பை (retrieval) மற்றொரு செயல்பாடாகக் கருதுவதன் மூலமும், டெவலப்பர்கள் முழுமையாக உலாவியிலேயே இயங்கும் ஒரு பயனுள்ள AI உதவியாளரை வழங்க முடியும்—இது முக்கிய உரையாடல் திறன்களை இழக்காமல் தனியுரிமை, ஆஃப்லைன் பயன்பாடு மற்றும் பூஜ்ஜிய கிளவுட் செலவை வழங்குகிறது.