10 டாலர் சிப்பில் இயங்கும் 180M-பாராமீட்டர் LLM
p-for-llm எனப்படும் புதிய திட்டம் ஒரு வியக்கத்தக்க காரியத்தைச் செய்து வருகிறது. இது ESP32-P4 மைக்ரோகண்ட்ரோலரில் 180.9 மில்லியன் பாராமீட்டர் கொண்ட மாதிரியை (model) இயக்குகிறது. இந்த சிப்பின் விலை ஆறு முதல் பத்து டாலர்களுக்குள் இருக்கும்.
சிறிய சிப்களில் இயங்கும் பெரும்பாலான வைரல் AI திட்டங்கள் எளிய பணிகளில் மட்டுமே கவனம் செலுத்துகின்றன. அவை சிறு கதைகளை எழுதும் மாதிரிகளை மட்டுமே காட்டுகின்றன. அத்தகைய மாதிரிகளில் பெரும்பாலும் மிகக் குறைவான பாராமீட்டர்களே இருக்கும், மேலும் அவற்றுக்கு உண்மையான பயன்பாடு இருப்பதில்லை.
p-for-llm வித்தியாசமானது. இது பயனுள்ள வகையில் செயல்படுவதை நோக்கமாகக் கொண்டுள்ளது.
இது எவ்வாறு செயல்படுகிறது என்பது இங்கே:
- இது Mixture-of-Experts (MoE) கட்டமைப்பைப் பயன்படுத்துகிறது.
- ஒவ்வொரு டோக்கனுக்கும் (token), ரூட்டர் 29 நிபுணர்களில் (experts) ஒருவரைத் தேர்ந்தெடுக்கிறது.
- மற்ற 28 நிபுணர்கள் செயலிழந்தே (dark) இருப்பார்கள்.
- இது அதிக அறிவைச் சேமித்து வைக்கும் அதே வேளையில், கணக்கீட்டுத் திறனை (compute power) மிச்சப்படுத்துகிறது.
- மாதிரியைச் சிறிய நினைவகத்திற்குள் (memory) பொருத்துவதற்கு இது ternary weights-களைப் பயன்படுத்துகிறது.
- இந்த மாதிரி ஒரு வினாடிக்கு சுமார் 9 டோக்கன்களை உருவாக்குகிறது.
இதன் பயிற்சி முறையும் (training process) குறிப்பிடத்தக்கது. டெவலப்பர் ஒரு RTX 5060 Ti நுகர்வோர் கிராபிக்ஸ் கார்டைப் பயன்படுத்தியுள்ளார். இங்கே பெரிய ஆய்வகமோ அல்லது பிரம்மாண்டமான பட்ஜெட்டோ இல்லை. ஒரு நடுத்தரத் தரத்திலான GPU மற்றும் பொறுமையுடன் இருக்கும் ஒரு நபர் மட்டுமே இதில் உள்ளார்.
நீங்கள் தெரிந்து கொள்ள வேண்டிய ஒரு விஷயம் உள்ளது. இந்த மாதிரி இன்னும் முழுமையாகத் தன்னிச்சையாக (autonomous) இயங்குவதில்லை. தொடக்கத்தின் போது (startup), USB வழியாக நீங்கள் weights-களை போர்டுக்கு அனுப்ப வேண்டும். இது இன்னும் SD கார்டிலிருந்து இயங்கும் ஒரு தனிச் சாதனமாக (standalone device) மாறவில்லை.
இது இன்னும் ஒரு கிளவுட் டெமோ (cloud demo) அல்ல. கணக்கீடுகள் சிப்பிலேயே உள்ளூர் ரீதியாக (locally) நடைபெறுகின்றன. தரவுகளை ஒரு சர்வருக்கு மட்டும் அனுப்பும் திட்டங்களை விட இது ஒரு மிகப்பெரிய முன்னேற்றமாகும்.
இது ஏன் முக்கியமானது?
சிறிய மாதிரிகள் பொதுவாக ஒரு எல்லையைத் தொட்டுவிடும். அவை பார்ப்பதற்குச் சிறப்பாக இருக்கலாம், ஆனால் அவற்றால் கட்டளைகளைப் பின்பற்ற முடியாது. p-for-llm அந்த எல்லையைத் தாண்ட முயற்சி செய்கிறது. இது ChatML ப்ராம்ப்ட்களை (prompts) ஆதரிக்கிறது மற்றும் tool calling செய்வதற்கான ஆரம்ப அறிகுறிகளைக் காட்டுகிறது.
உண்மையான முன்னேற்றம் பெரும்பாலும் அமைதியாகவே நிகழ்கிறது என்பதை இந்தத் திட்டம் காட்டுகிறது. வைரல் திட்டங்கள் செய்திகளைத் தேடி ஓடும்போது, தீவிரமான உருவாக்குநர்கள் (builders) தங்களின் வரம்புகளையும் குறிப்புகளையும் (footnotes) வெளியிடுகிறார்கள்.
இந்த எண்களைச் சரிபார்க்க நான் இந்த வன்பொருளை (hardware) தனிப்பட்ட முறையில் சோதிப்பேன்.
Optional learning community: https://t.me/GyaanSetuAi