On-Device AI Gets a Boost as Muse Glimmer Lets Hobbyists Run 30B Model Locally

Meta-வின் புதிய ஓப்பன் மாடல் உள்ளூர் கருவியிலேயே (Locally) இயங்குகிறது

Meta ஆகஸ்ட் 10 அன்று, 30-பில்லியன் அளவுருக்களைக் (parameters) கொண்ட Muse Glimmer என்ற மொழி மாதிரியை (language model) வெளியிட்டது. இது ஒரு சாதாரண நுகர்வோர் தர GPU-விலேயே (consumer-grade GPU) ஏஜென்டிக் கோடிங் (agentic coding) மற்றும் தனிப்பட்ட உதவியாளர் பணிகளைச் செய்ய முடியும் என்று உறுதியளிக்கிறது. இந்த அறிவிப்பு முக்கியமானது, ஏனெனில் இது தரவுகளை கிளவுடுக்கு (cloud) அனுப்பாமல், டெவலப்பர்கள் உள்ளூரிலேயே (locally) எவற்றையெல்லாம் இயக்க முடியும் என்பதன் எல்லையை விரிவுபடுத்துகிறது. இது தனியுரிமை சார்ந்த AI பயன்பாடுகளை மறுசீரமைக்கக்கூடும்.

இந்த வெளியீடு ஏன் முக்கியமானது

ஓப்பன் சோர்ஸ் பெரிய மொழி மாதிரிகள் (LLMs) இப்போது கோட் உதவியாளர்கள் முதல் தனிப்பட்ட அறிவுத் தளங்கள் வரை, வடிவமைப்பிலேயே தனியுரிமை கொண்ட ஏஜென்ட்களுக்கு (agents) சக்தியளிக்கின்றன. இதுவரை, ஏஜென்ட் பெஞ்ச்மார்க்குகளில் (agent benchmarks) சிறப்பாகச் செயல்படும் பெரும்பாலான மாதிரிகளுக்கு சர்வர் தரத்திலான வன்பொருள் (server-grade hardware) தேவைப்பட்டது அல்லது அவை பிரத்யேக API-களைச் சார்ந்திருந்தன. Muse Glimmer-இன் "எங்கேயும் இயக்கலாம்" என்ற வாக்குறுதி, 24 GB கிராபிக்ஸ் கார்டு அல்லது சமீபத்திய Apple Silicon Mac வைத்திருக்கும் பொழுதுபோக்கு ஆர்வலர்கள் மற்றும் சிறிய குழுக்களுக்கு இந்த 30B மாதிரியை அணுகக்கூடியதாக மாற்றுகிறது. இந்த மாதிரி அதன் வாக்குறுதிகளை நிறைவேற்றினால், டெவலப்பர்கள் அனைத்து ப்ராம்ப்ட்களையும் (prompts) மற்றும் வெளியீடுகளையும் சாதனத்திலேயே (on-device) வைத்திருக்க முடியும், இதன் மூலம் ஹோஸ்டு செய்யப்பட்ட சேவைகளுடன் வரும் தரவு வெளியேற்ற (data-exfiltration) அபாயங்களைத் தவிர்க்கலாம்.

Muse Glimmer உண்மையில் என்ன?

Glimmer என்பது Meta-வின் க்ளோஸ்டு-சோர்ஸ் (closed-source) Muse Spark வரிசையின் சுருக்கப்பட்ட பதிப்பாகும். மிகவும் திறன்மிக்க Spark மாறுபாடான Muse Spark 1.2 இன்னும் பொதுமக்களுக்குக் கிடைக்கவில்லை, இருப்பினும் "சில வாரங்களில்" ஒரு ஓப்பன் வெளியீட்டை Meta கோடிட்டுக் காட்டியுள்ளது. இந்த சூழல் முக்கியமானது: இன்னும் வெளியிடப்படாத ஒரு மாதிரியின் முன்னோட்டமாகப் பார்க்காமல், Glimmer-இன் சொந்தத் திறன்களின் அடிப்படையில் அதை மதிப்பிடுங்கள்.

இதன் கட்டமைப்பு (architecture) ஒரு டென்ஸ் காசல் டிரான்ஸ்பார்மர் (dense causal transformer) ஆகும்; இது ஒவ்வொரு டோக்கனும் (token) அடுத்த டோக்கனை ஒரே ஃபோர்டு பாஸில் (forward pass) கணிக்கும் ஒரு பாரம்பரிய வடிவமைப்பாகும். அந்த எளிமை லேப்டாப்களில் எளிதாகப் பயன்படுத்துவதற்கு உதவுகிறது; இதில மற்ற போட்டியிடும் மாதிரிகள் பயன்படுத்தும் 'mixture-of-experts routing' அல்லது பிற கனமான நுட்பங்கள் எதுவும் இல்லை.

இதில் குறிப்பிடத்தக்க ஒரு அம்சம் DFlash ஆகும், இது எதிர்கால டோக்கன்களைக் கணித்து அவற்றை இணையாகச் சரிபார்க்கும் ஒரு ஸ்பெகுலேட்டிவ் டீகோடிங் (speculative decoding) நுட்பமாகும். நடைமுறையில், DFlash உரைத் தரத்தின் தரத்தைக் குறைக்காமல் தாமதத்தைக் (latency) குறைக்கிறது, இது ஊடாடும் ஏஜென்ட்களுக்கு (interactive agents) ஒரு பயனுள்ள அம்சமாகும்.

குவாண்டைஸ்டு வெயிட்டுகள் (Quantized weights) மெமரி பயன்பாட்டை (memory footprint) தோராயமாக 17 GB ஆகக் குறைக்கின்றன, இது 24 GB VRAM கொண்ட GPU-களில் இந்த மாதிரியைப் பொருத்த அனுமதிக்கிறது. இதே குவாண்டைஸ்டு பதிப்பு llama.cpp ரன்டைம் மூலம் Apple Silicon-இல் இயங்குகிறது, இது macOS பயனர்களுக்கு இந்த மாதிரியைப் பயன்படுத்த ஒரு நேரடி வழியை வழங்குகிறது.

இது போட்டியை எவ்வாறு எதிர்கொள்கிறது

Meta, Glimmer-ஐ Google-இன் Gemma மற்றும் Alibaba-இன் Qwen ஆகியவற்றுடன் ஒப்பிட்டுப் பார்த்தது. அதன் முடிவுகள் கலவையான பலன்களைக் காட்டுகின்றன:

• ஏஜென்ட் சார்ந்த பணிகள் (Agent-oriented tasks) – திட்டமிடல் மற்றும் கருவிப் பயன்பாட்டை (tool use) சோதிக்கும் சில பெஞ்ச்மார்க்குகளில் Glimmer தனது இரு போட்டியாளர்களையும் விடச் சற்று முன்னிலையில் உள்ளது.
• கோடிங் மற்றும் பரந்த பகுத்தறிவு (Coding and broad reasoning) – Qwen தொடர்ந்து Glimmer-ஐ விடச் சிறப்பாகச் செயல்படுகிறது, கோட் உருவாக்கம் மற்றும் பல தர்க்கரீதியான புதிர்களில் அதிக துல்லியத்தை வழங்குகிறது.
• பாதுகாப்பு அளவீடுகள் (Safety metrics) – Gemma குறைந்த விதிமீறல் விகிதங்களைக் கொண்டுள்ளது, இது ஒரே மாதிரியான சோதனைச் சூழலில் தடைசெய்யப்பட்ட உள்ளடக்கத்தை உருவாக்கும் வாய்ப்பு குறைவு என்பதைக் காட்டுகிறது.

சுருக்கமாகச் சொன்னால், குறிப்பிட்ட ஏஜென்ட் வேலைப்பளுக்களுக்கு Glimmer போட்டியிடக்கூடியது, ஆனால் பரந்த கோடிங் அல்லது பகுத்தறிவுத் துறையில் அது ஆதிக்கம் செலுத்தவில்லை.

பாதுகாப்பு சமிக்ஞைகள் மற்றும் அவற்றின் அர்த்தம்

கோப்புகளைப் படிக்கவும், செய்திகளை அனுப்பவும் மற்றும் பயனரின் சார்பாகச் செயல்படவும் கூடிய தனிப்பட்ட ஏஜென்ட்களுக்கான அடித்தளமாக Meta Glimmer-ஐ சந்தைப்படுத்துகிறது. இத்தகைய திறன்கள் பாதுகாப்பிற்கான தேவையை அதிகரிக்கின்றன. மாதிரியின் இடர் விவரங்களை (risk profile) இரண்டு உள் மதிப்பீடுகள் விளக்குகின்றன:

• CI Memories சோதனை – Gemma-வை விட Glimmer அதிக விதிமீறல் விகிதத்தைக் காட்டுகிறது, அதாவது இது முன் வரையறுக்கப்பட்ட பாதுகாப்பு விதிகளை மீறும் வெளியீடுகளை அடிக்கடி உருவாக்குகிறது.
• Siren AgentDojo அட்டாக் சூட் (attack suite) – பாதுகாப்பற்ற நடத்தையைத் தூண்டும் வகையில் வடிவமைக்கப்பட்ட அட்வர்ஸரியல் ப்ராம்ப்ட்களுக்கு (adversarial prompts) இந்த மாதிரி அதிக வெற்றி விகிதத்தைப் பெறுகிறது.

இந்த கண்டுபிடிப்புகள், Glimmer அதன் சக மாதிரிகளில் ஒன்றையாவது விட பாதுகாப்புக் குறைபாடுகளுக்கு அதிக வாய்ப்புள்ளதைக் காட்டுகின்றன. எனவே, இந்த மாதிரிக்குத் தனிப்பட்ட கோப்புகள் அல்லது தகவல் தொடர்பு சேனல்களுக்கான அணுகலை வழங்கத் திட்டமிடும் டெவலப்பர்கள், வெளிப்புற உள்ளடக்க வடிகட்டிகள் (content filters) மற்றும் சாண்ட்பாக்ஸ்டு இயங்கு சூழல்களை (sandboxed execution environments) சேர்க்க வேண்டும்.

இதை யார் இயக்கத் திட்டமிடலாம்

பொருத்தமானவர்கள்

• நெட்வொர்க்கிற்கு வெளியே இருந்துகொண்டே ஒரு முழு ரெபாசிட்டரியையும் (repository) உள்வாங்கக்கூடிய உள்ளூர் கோட் உதவியாளர் தேவைப்படும் குழுக்கள்.
• தரவு இருப்பிடத்திற்கு (data residency) முன்னுரிமை அளிப்பவர்கள் மற்றும் தங்கள் சாதனத்தை விட்டு ஒருபோதும் வெளியேறாத LLM-ஐ விரும்புபவர்கள்.
• வேகம் மற்றும் சாதனத்திலேயே இயங்குவது முக்கியமாகக் கருதப்படும் இடங்களில், வெளியீடுகளைத் தொகுப்பாக மதிப்பீடு செய்ய (batch-evaluate) 'LLM-as-a-judge' தேடும் ஆராய்ச்சியாளர்கள் அல்லது பொறியாளர்கள்.
• 24 GB+ GPU அல்லது llama.cpp-ஐ இயக்கக்கூடிய Apple Silicon Mac வைத்திருப்பவர்கள் எவரும்.

பிற தேவைகளுக்குச் சிறந்த மாற்றுகள்

• மூலக் குறியீட்டுத் திறன் முதன்மையான முன்னுரிமையாக இருந்தால், Qwen தற்போது அதிக துல்லியத்தை வழங்குகிறது.
• மிகவும் உணர்திறன் வாய்ந்த தனிப்பட்ட தரவுகளைக் கையாளும் போது, Gemma-வின் குறைந்த மீறல் விகிதம் அதை ஒரு பாதுகாப்பான தேர்வாக மாற்றுகிறது.
• தேவையான வன்பொருள் இல்லாத டெவலப்பர்கள், 24 GB-க்கும் குறைவான நினைவகம் கொண்ட GPU-களில் இயங்கக்கூடிய சிறிய மற்றும் பரவலாக ஆதரிக்கப்படும் மாடல்களைத் தேட வேண்டும்.

அடுத்து கவனிக்க வேண்டியவை

வரவிருக்கும் வாரங்களில் Meta ஒரு திறந்தநிலை Muse Spark 1.2-ஐ அறிமுகப்படுத்துவதற்கான குறிப்பு, சமநிலையை வியத்தகு முறையில் மாற்றக்கூடும். Spark அதே வன்பொருள் தேவையைத் தக்கவைத்துக் கொண்டு, Glimmer-இன் செயல்திறனுக்கு இணையாகவோ அல்லது அதைவிட அதிகமாகவோ இருந்தால், தற்போதைய மாடல் ஒரு நீண்டகாலத் தீர்வாக இல்லாமல் ஒரு இடைக்காலப் படியாக மட்டுமே இருக்கலாம். மூன்றாம் தரப்பு வடிகட்டிகள் (third-party filters), fine-tuning அல்லது prompt engineering ஆகியவற்றின் மூலம் Glimmer-இன் பாதுகாப்பு குறைபாடுகளுக்கு சமூகம் அளிக்கும் பதில், அதன் பயன்பாட்டு விகிதத்தையும் பாதிக்கும்.

llama.cpp மூலம் இந்த மாடல் உடனடியாகக் கிடைப்பதால், டெவலப்பர்கள் இன்றே சோதனைகளைத் தொடங்க முடியும், ஆனால் தனிப்பட்ட தரவுகளை இதற்குப் பயன்படுத்துவது குறித்த முடிவு, Meta வெளியிட்ட பாதுகாப்புத் தரவுகள் மற்றும் சுயாதீனத் தணிக்கைகளின் அடிப்படையில் இருக்க வேண்டும்.

முக்கியக் கருத்து: Muse Glimmer ஒரு 30B LLM-ஐ டெஸ்க்டாப்பிற்கு கொண்டு வருகிறது, இது சாதனத்திலேயே இயங்கும் ஏஜென்ட்களுக்கான (on-device agents) வாய்ப்புகளைத் திறக்கிறது, இருப்பினும் அதன் செயல்திறன் மற்றும் பாதுகாப்பு முன்னணிப் போட்டியாளர்களை விடப் பின்தங்கியுள்ளது. உள்ளூர் இயக்கம் (local execution) அவசியமாகவும், உங்களிடம் போதுமான வன்பொருள் வசதியும் இருந்தால் மட்டுமே இதைப் பயன்படுத்தவும்; இல்லையெனில், ஏற்கனவே குறியீட்டுத் துல்லியத்தில் சிறந்து விளங்கும் அல்லது வலுவான பாதுகாப்புப் பதிவைக் கொண்ட ஒரு மாடலைத் தேர்ந்தெடுக்கவும்.