మీ 70B పారామీటర్ మోడల్ను ఇక ఎవరూ కోరుకోరు
AI ప్రపంచం ఒకప్పుడు కేవలం స్కేల్ (పరిమాణం) పైనే దృష్టి సారించేది.
ప్రజలు పెద్ద మోడల్స్, పెద్ద కాంటెక్స్ట్ విండోస్ మరియు పెద్ద బెంచ్మార్క్ల కోసం వెతికేవారు. మీ మోడల్ భారీగా లేకపోతే, మీరు ఆ పోటీలో లేనట్టే.
ఆ యుగం ముగిసిపోతోంది.
భారీ మోడల్స్ ఆకట్టుకునేలా ఉంటాయి. కానీ చాలా మందికి అంత శక్తి అవసరం లేదు. ఒక కార్ డాష్బోర్డ్ అసిస్టెంట్ కవితలు రాయాల్సిన అవసరం లేదు. దానికి "AC తగ్గించు" అని అర్థం చేసుకోవడం మరియు బ్యాటరీని ఖర్చు చేయకుండా పనిచేయడం ముఖ్యం.
ఐదు ప్రధాన కారణాల వల్ల చిన్న, ప్రత్యేకమైన (specialized) మోడల్స్ ప్రాచుర్యం పొందుతున్నాయి:
- ఆన్-డివైస్ వినియోగం (On-device use): ఫోన్లలో ఇప్పుడు చిన్న మోడల్స్ను లోకల్గా రన్ చేయడానికి అవసరమైన హార్డ్వేర్ ఉంది. ఇంటర్నెట్ లేకపోయినా టన్నెల్లో లేదా విమానంలో కూడా మీ అసిస్టెంట్ పనిచేస్తుంది.
- ప్రైవసీ మరియు నిబంధనలు (Privacy and regulation): ఆసుపత్రులు మరియు లా ఫర్మ్స్ తమ సున్నితమైన డేటాను థర్డ్-పార్టీ APIకి పంపలేవు. లోకల్ హార్డ్వేర్పై చిన్న మోడల్ను రన్ చేయడం వల్ల డేటా సంస్థ లోపలే సురక్షితంగా ఉంటుంది.
- తక్కువ లాటెన్సీ (Low latency): ఒక సెల్ఫ్-డ్రైవింగ్ కారు, ఏదైనా ఆకారం మనిషి అవునా కాదా అని నిర్ణయించడానికి క్లౌడ్ సర్వర్ కోసం వేచి ఉండలేదు. నిర్ణయం ఎక్కడ తీసుకోవాలో, మోడల్ కూడా అక్కడే ఉండాలి.
- తక్కువ ఖర్చు (Lower costs): ఒక భారీ మోడల్పై మిలియన్ల కొద్దీ రిక్వెస్ట్లను రన్ చేయడం వల్ల మీ లాభాలు తగ్గిపోతాయి. ట్యూన్ చేసిన చిన్న మోడల్ తరచుగా చౌకగా మరియు స్థిరంగా (sustainable) ఉంటుంది.
- బలహీనమైన కనెక్టివిటీ (Poor connectivity): ప్రపంచంలోని చాలా ప్రాంతాల్లో ఇంటర్నెట్ నిరంతరంగా ఉండదు. చిన్న మోడల్స్ వల్ల ఉత్పత్తులు ఆఫ్లైన్లో కూడా పనిచేయగలవు.
మూడు ప్రధాన పద్ధతుల ద్వారా మీరు మోడల్స్ను చిన్నవిగా చేయవచ్చు:
- క్వాంటైజేషన్ (Quantization): స్థలాన్ని ఆదా చేయడానికి మోడల్ వెయిట్స్ యొక్క ప్రిసిషన్ను తగ్గించడం.
- ప్రూనింగ్ (Pruning): విలువను పెంచని అనవసరమైన కనెక్షన్లను తొలగించడం.
- నాలెడ్జ్ డిస్టిలేషన్ (Knowledge distillation): ఒక పెద్ద మోడల్ యొక్క రీజనింగ్ను అనుకరించడం ఎలాగో చిన్న మోడల్కు నేర్పించడానికి పెద్ద మోడల్ను ఉపయోగించడం.
ఈ మార్పు అవసరమైన నైపుణ్యాలను (skill set) మారుస్తుంది.
ఒక భారీ మోడల్కు ప్రాంప్టింగ్ చేయడం ఒక నైపుణ్యం. ఒక ప్రత్యేకమైన మోడల్ను ఎంచుకోవడం, ఫైన్-ట్యూనింగ్ చేయడం మరియు డిప్లాయ్ చేయడం అనేది వేరొక ఇంజనీరింగ్ సవాలు. ఇది వేగం, ఖర్చు మరియు ఖచ్చితత్వం (accuracy) మధ్య సమతుల్యతను (tradeoffs) సాధించడం గురించి.
అన్నింటినీ సరిగ్గా చేయలేని ఒకే ఒక భారీ సాధనాన్ని నిర్మించడానికి ప్రయత్నించడం ఆపండి. ఒకే పనిని చక్కగా చేసే అనేక చిన్న సాధనాలను నిర్మించండి.
చిన్న మోడల్ అంటే నాణ్యత తగ్గడం కాదు. అది ఆ పనికి మెరుగైన సాధనం.
Source: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo
Optional learning community: https://t.me/GyaanSetuAi