ట్రాన్స్ఫార్మర్ల అవతలికి: LLMల తదుపరి శకాన్ని పునర్నిర్వహిస్తున్న స్టార్టప్లు
లార్జ్ లాంగ్వేజ్ మోడల్స్ (LLMs) యొక్క కంప్యూటేషనల్ డిమాండ్లు ఒక పరిమితికి చేరుకుంటుండటంతో, ట్రాన్స్ఫార్మర్ల యుగం ఒక ప్రాథమిక అడ్డంకిని (bottleneck) ఎదుర్కొంటోంది. 2017 నాటి "Attention Is All You Need" పరిశోధనా పత్రం ప్రస్తుత AI విప్లవానికి పునాది వేసినప్పటికీ, నిజమైన సామర్థ్యాన్ని సాధించడానికి కోర్ ఆర్కిటెక్చర్ను భర్తీ చేయడానికి లేదా పునర్నిర్మించడానికి కొత్త తరం స్టార్టప్లు ఇప్పుడు పోటీ పడుతున్నాయి.
ట్రాన్స్ఫార్మర్ బాటిల్నెక్: డెన్స్ అటెన్షన్ ఎందుకు విఫలమవుతోంది
దాదాపు దశాబ్ద కాలంగా, "డెన్స్ అటెన్షన్" (dense attention) అనే మెకానిజం ద్వారా నడిచే ట్రాన్స్ఫార్మర్ AI పరిశ్రమకు ఇంజిన్గా పనిచేస్తోంది. ఈ ప్రక్రియ ఒక టెక్స్ట్ బ్లాక్లోని ప్రతి టోకెన్ను భారీ స్థాయి గుణకారం (multiplication) ద్వారా మిగిలిన ప్రతి టోకెన్తో పోలుస్తుంది. అర్థవంతమైన అర్థాన్ని (semantic meaning) గ్రహించడంలో ఇది అద్భుతంగా ఖచ్చితంగా ఉన్నప్పటికీ, దీని గణిత సంక్లిష్టత (mathematical complexity) పెరిగేకొద్దీ నియంత్రణ కోల్పోతుంది.
ఉదాహరణకు, 10,000 పదాల పత్రాన్ని ప్రాసెస్ చేయడానికి ఒక ట్రాన్స్ఫార్మర్ సుమారు 50 మిలియన్ల గుణకారాలను చేయాల్సి రావచ్చు. కంప్యూటేషన్లో ఈ క్వాడ్రాటిక్ వృద్ధి (quadratic growth) రెండు భారీ సవాళ్లకు దారితీస్తుంది: ఆకాశాన్ని తాకే శక్తి వినియోగం మరియు పరిమితమైన కాంటెక్స్ట్ విండోస్ (context windows). OpenAI ఈ ఏడాది కంప్యూటింగ్ కోసం $50 బిలియన్లు ఖర్చు చేయనున్నట్లు వార్తలు వస్తుండగా, 2030 నాటికి డేటా సెంటర్ విద్యుత్ డిమాండ్ రెట్టింపు అవుతుందని అంచనా వేయబడింది, దీనివల్ల పరిశ్రమ ఖర్చు మరియు భౌతిక శాస్త్ర పరిమితుల మధ్య ఇరుక్కుపోతోంది.
అటెన్షన్ను పునర్విచారించడం: స్పార్స్ మెకానిజంల ఆవిర్భావం
సామర్థ్య సంక్షోభాన్ని పరిష్కరించడానికి, పలు స్టార్టప్లు "డెన్స్ అటెన్షన్" నుండి "స్పార్స్ అటెన్షన్" (sparse attention) వైపు మళ్లడానికి ప్రయత్నిస్తున్నాయి. ప్రతి సాధ్యమయ్యే పదాల జంటను లెక్కించే బదులు, స్పార్స్ అటెన్షన్ కేవలం అత్యంత సంబంధిత కనెక్షన్లపై మాత్రమే దృష్టి పెడుతుంది, తద్వారా కంప్యూటేషనల్ లోడ్ను గణనీయంగా తగ్గిస్తుంది.
మయామికి చెందిన స్టార్టప్ Subquadratic, తన SubQ మోడల్తో ఈ రంగంలో అగ్రగామిగా ఉంది. ఖచ్చితత్వాన్ని కాపాడుకోవడంలో ఇబ్బంది పడిన మునుపటి స్పార్స్ మెకానిజంల వలె కాకుండా, కోడింగ్ మరియు సెర్చ్ వంటి ప్రత్యేక పనులలో తమ సాంకేతికత ప్రధాన స్రవంతి LLMలకు పోటీగా ఉంటుందని Subquadratic పేర్కొంటోంది. అనవసరమైన టోకెన్లపై సమయాన్ని వృథా చేయకుండా, ఒక నిర్దిష్ట టెక్స్ట్ కోసం ఏ పదాలు నిజంగా ముఖ్యమో వెంటనే గుర్తించే డైనమిక్ సిస్టమ్ను వారి విధానం కలిగి ఉంటుంది.
పవర్ రిటెన్షన్: రోలింగ్ సమ్మరీల వైపు అడుగులు
మరొక విధానం అటెన్షన్ మెకానిజం నుండి పూర్తిగా విడిపోవడం. శాన్ ఫ్రాన్సిస్కోకు చెందిన Manifest AI, "పవర్ రిటెన్షన్" (power retention) అనే సాంకేతికతను అభివృద్ధి చేస్తోంది. SubQ వంటి స్పార్స్ అటెన్షన్ మోడల్లు మొత్తం కాంటెక్స్ట్ విండో యొక్క ఒక ముసాయిదా చిత్రాన్ని నిలుపుకోవడానికి ప్రయత్నిస్తుంటే, పవర్ రిటెన్షన్ మోడల్కు దాని మెమరీ యొక్క రోలింగ్ సమ్మరీని (rolling summary) అందించడం ద్వారా పనిచేస్తుంది.
కొత్త సమాచారం కాంటెక్స్ట్ విండోలోకి ప్రవేశించినప్పుడు, మోడల్ తక్కువ సంబంధం ఉన్న డేటాను గుర్తించి తొలగిస్తుంది, తద్వారా ఇన్పుట్ పరిమాణంతో సంబంధం లేకుండా కంప్యూటేషనల్ లోడ్ నియంత్రణలో ఉండేలా చూస్తుంది. Manifest AI ఇప్పటికే ఈ విధానం యొక్క సాధ్యతను ఈ క్రింది విధంగా నిరూపించింది:
- పవర్ రిటెన్షన్ను ఉపయోగించి ఓపెన్ సోర్స్ StarCoder మోడల్ను PowerCoderగా మార్చడం.
- అలీబాబా యొక్క ప్రసిద్ధ Qwen ఓపెన్ సోర్స్ మోడళ్లకు పోటీగా ఉండే Brumby మోడల్ను విడుదల చేయడం.
కనీస రీట్రైనింగ్తో ఉన్న ట్రాన్స్ఫార్మర్ మోడళ్లను పవర్ రిటెన్షన్ మోడళ్లుగా మార్చగల సామర్థ్యం, "LLMs+" — తదుపరి తరం మోడళ్ల వైపు పరివర్తన ఊహించిన దానికంటే చాలా వేగంగా జరగవచ్చని సూచిస్తోంది.
ముఖ్య అంశాలు
- ట్రాన్స్ఫార్మర్ పరిమితి: డెన్స్ అటెన్షన్ యొక్క క్వాడ్రాటిక్ స్కేలింగ్ వల్ల ప్రస్తుత LLMలను నడపడం చాలా ఖరీదైనదిగా మారింది మరియు భారీ డేటాసెట్లు లేదా సుదీర్ఘమైన రీజనింగ్ కోసం వాటిని విస్తరించడం కష్టమవుతోంది.
- స్పార్స్ వర్సెస్ రిటెన్షన్: స్టార్టప్లు ఈ సమస్యను రెండు వైపుల నుండి ఎదుర్కొంటున్నాయి: Subquadratic స్పార్స్ కాలిక్యులేషన్స్ (SubQ) ద్వారా అటెన్షన్ను ఆప్టిమైజ్ చేస్తోంది, అయితే Manifest AI దానిని రోలింగ్ సమ్మరీలతో (Power Retention) భర్తీ చేస్తోంది.
- ఆర్థిక ప్రాముఖ్యత: AI కంప్యూట్ ఖర్చులు పదుల బిలియన్ డాలర్లకు చేరుకుంటున్నందున, తదుపరి AI యుగ విజేత కేవలం భారీ స్థాయి (scale) కోసం కాకుండా, సామర్థ్యం (efficiency) కోసం పరిష్కారం కనుగొనేవారే అయ్యే అవకాశం ఉంది.