Hugging Face అనేది కేవలం ఒక మోడల్ జూ (model zoo) కంటే మించినదిగా మారింది. అక్కడ ట్రెండ్ అవుతున్న పేపర్లు AI కమ్యూనిటీ నిజంగా ఏ దిశగా వెళ్తుందో తెలిపే దిక్సూచిలా పనిచేస్తున్నాయి. సంవత్సరాల తరబడి, ప్రధాన కథనం సరళంగా ఉండేది: పారామీటర్లను పెంచడం, డేటాను పెంచడం, కంప్యూట్ను పెంచడం. ఆ యుగం అంతరించిపోలేదు, కానీ అది ఇప్పుడు పూర్తి కథ కాదు. తాజా ప్రభావవంతమైన పేపర్లు స్పష్టమైన ప్రాధాన్యత మార్పును వెల్లడిస్తున్నాయి. ఈ వ్యవస్థలు వాస్తవ ప్రపంచంతో కలిసినప్పుడు ఎలా పనిచేస్తాయనే దానిపై పరిశోధకులు మరియు బిల్డర్లు కఠినమైన ప్రశ్నలు వేస్తున్నారు. దృష్టి ఇప్పుడు కేవలం పరిమాణం (scale) నుండి ఆపరేషనలైజేషన్ (operationalization) వైపు మళ్లుతోంది—అంటే మోడల్స్ ఎలా ఆలోచిస్తాయి (reason), తక్కువ ఖరీదైన హార్డ్వేర్పై అవి ఎలా నడుస్తాయి, ఒక సాఫ్ట్వేర్ ఎన్విరాన్మెంట్ నుండి మరొకదానికి అవి ఎలా మారుతాయి మరియు అవి సైన్స్ను వేగంగా ముందుకు తీసుకెళ్లడంలో ఎలా సహాయపడతాయి అనే అంశాలపై దృష్టి ఉంది.
ఒత్తిడిలో కూడా స్థిరంగా ఉండే తార్కికత (Reasoning)
మనం లార్జ్ లాంగ్వేజ్ మోడల్స్ను ఎలా ట్రైన్ చేస్తాము మరియు వాటిని ఎలా ఉపయోగిస్తాము అనే అంశాల మధ్య పెరుగుతున్న అంతరం ఉంది. ఒక మోడల్ ట్రైనింగ్ సమయంలో లాస్ (loss) ను అద్భుతంగా తగ్గించవచ్చు, కానీ కోడింగ్ బగ్ లేదా మల్టీ-స్టెప్ మ్యాథ్ ప్రూఫ్ వంటి వాటిని పరిష్కరించేటప్పుడు విఫలం కావచ్చు. ఇటీవలి ఒక పేపర్ ప్రకారం, దీనికి పరిష్కారం మరొక ట్రైనింగ్ ట్రిక్ కాదు. మనం కేవలం ట్రైనింగ్ మెట్రిక్స్లో స్కోరు కోసం మాత్రమే కాకుండా, ఇన్ఫరెన్స్ (inference) సమయంలో మోడల్స్ ఎలా ప్రవర్తిస్తాయనే దాని కోసం ఆప్టిమైజ్ చేయాలి. చాలా రీఇన్ఫోర్స్మెంట్ లెర్నింగ్ పైప్లైన్లు ఇంకా ట్రైనింగ్-టైమ్ రివార్డ్ల కోసమే ప్రయత్నిస్తున్నాయి. ప్రతిపాదిత మార్పు అంటే 'చైన్ ఆఫ్ థాట్' (chain of thought)ను స్థిరీకరించడం. కోడింగ్ అసిస్టెంట్లు లేదా మ్యాథ్ ట్యూటర్లను నిర్మించే ఎవరికైనా, ఇది ఒక ఆచరణాత్మక మార్పు. మీరు కేవలం లీడర్బోర్డ్ ఖచ్చితత్వాన్ని మాత్రమే నమ్మడం ఆపి, ప్రాంప్ట్ క్లిష్టంగా ఉన్నప్పుడు మోడల్ యొక్క రీజనింగ్ స్థిరంగా ఉంటుందో లేదో స్ట్రెస్-టెస్ట్ చేయడం ప్రారంభించాలి.
నేర్చుకున్న వాటిని గుర్తుంచుకునే GUI ఏజెంట్లు
ఏజెంట్లకు ప్లాట్ఫామ్ సమస్య ఉంది. క్రోమ్ ట్యాబ్లో ఫ్లైట్లను ఖచ్చితంగా బుక్ చేసే సిస్టమ్, మీరు ఒక ఆండ్రాయిడ్ ఫోన్లో సెట్టింగ్లను మార్చమని అడిగినప్పుడు అంతా మర్చిపోవచ్చు. ఈ వైఫల్యాన్ని 'కటాస్ట్రోఫిక్ ఫర్గెట్టింగ్' (catastrophic forgetting) అంటారు. కొత్త పరిశోధనలు దీనిని 'మల్టీ-టీచర్ డిస్టిలేషన్' (multi-teacher distillation) ద్వారా పరిష్కరిస్తున్నాయి. ఒకే ఇంటర్ఫేస్పై ట్రైన్ అయ్యి, ఆ జ్ఞానం మరొకదానికి బదిలీ అవుతుందని ఆశించే బదులు, ఏజెంట్ వివిధ ప్లాట్ఫామ్లలో ప్రత్యేకత కలిగిన అనేక మంది టీచర్ల నుండి ఒకేసారి నేర్చుకుంటుంది. స్టూడెంట్ నెట్వర్క్ వెబ్, మొబైల్ మరియు డెస్క్టాప్ లాజిక్లను ఒకేసారి నేర్చుకోవడం వల్ల, పాత నైపుణ్యాలను కోల్పోకుండానే వివిధ ఎన్విరాన్మెంట్లను దాటగలదు. ప్రొడక్ట్ టీమ్ల కోసం, దీని అర్థం మీరు రెండు వేర్వేరు ఏజెంట్ సిస్టమ్లను నిర్వహించాల్సిన అవసరం లేకుండా, మీ వెబ్ బ్యాకెండ్ మరియు మొబైల్ ఫ్రంటెండ్ రెండింటినీ ఉపయోగించగల ఒకే అసిస్టెంట్ను నిర్మించవచ్చు.
పెద్ద మోడళ్లను వాస్తవ ప్రపంచానికి తీసుకురావడం
ఒక రోబోట్పై లార్జ్ ఫౌండేషన్ మోడల్ను నడపడం అనేది ఎప్పుడూ సాఫ్ట్వేర్ సమస్యగా ముసుగు వేసిన ఫిజిక్స్ సమస్యగా ఉండేది. మోడల్ ఒక సర్వర్ రాక్లో సరిపోవచ్చు, కానీ అది డ్రోన్ యొక్క పవర్ బడ్జెట్లో లేదా మాన్యుఫ్యాక్చరింగ్ ఆర్మ్ యొక్క ఆన్బోర్డ్ కంప్యూటర్లో సరిపోదు. ఈ అంతరాన్ని పూరించడానికి సరిగ్గా సరిపోయేలా ఒక కొత్త C++ రన్టైమ్ రూపొందించబడింది, ఇది భారీ మోడళ్లను హెటెరోజీనియస్ రోబోట్ హార్డ్వేర్ మరియు ఎడ్జ్ పరికరాలకు మారుస్తుంది (porting). ఇది కేవలం వేగవంతమైన ఇన్ఫరెన్స్ గురించి మాత్రమే కాదు. ఇది పోర్టబిలిటీ (portability) గురించి. ఖరీదైన GPUలపై ల్యాబ్లో అభివృద్ధి చేసిన మోడల్ను, మళ్ళీ మొదటి నుండి రాయాల్సిన అవసరం లేకుండానే జెట్సన్ (Jetson) మాడ్యూల్ లేదా రోబోట్ యొక్క లోకల్ కంట్రోలర్లోకి పంపవచ్చు. ఆ పోర్టబిలిటీ మాత్రమే ఒక గ్రాంట్-ఫండెడ్ డెమోను, మార్కెట్లోకి విడుదల చేసే ప్రొడక్ట్గా మారుస్తుంది.
ఫిల్టర్ కంటే డేటా రెసిపీ ముఖ్యం
విజన్-లాంగ్వేజ్ మోడళ్లకు పెద్ద ప్లేట్లు కాదు, మెరుగైన ఆహారం (diet) అవసరం. కొత్త బెంచ్మార్క్లు ఒక అసౌకర్యమైన విషయాన్ని చెబుతున్నాయి: చెడు డేటాను ఫిల్టర్ చేయడం అనేది యుద్ధంలో సగం మాత్రమే. మీరు ఇమేజ్ క్యాప్షన్స్, చార్ట్ పార్సింగ్, గ్రౌండెడ్ కన్వర్సేషన్ మరియు విజువల్ క్వశ్చన్ ఆన్సరింగ్ వంటి వాటిని ఏ నిష్పత్తిలో మిక్స్ చేస్తారనే దానిపై మీ మల్టీమోడల్ అసిస్టెంట్ సూక్ష్మతను అర్థం చేసుకుంటుందా లేదా హాలూసినేట్ (hallucinate) అవుతుందా అనేది ఆధారపడి ఉంటుంది. రెసిపీ తప్పుగా ఉంటే, డేటా ఎంత శుభ్రంగా ఉన్నా మోడల్ తడబడుతుంది. ఇది డేటాసెట్ నిర్మాణాన్ని కేవలం క్లీనింగ్ పని నుండి 'రెసిపీ ఇంజనీరింగ్' వైపు మారుస్తుంది. మీ టీమ్ ఒక విజువల్ అసిస్టెంట్ను నిర్మిస్తుంటే, కేవలం మీ ఫిల్టర్లను మాత్రమే కాకుండా, మీ మిశ్రమాలను (mixtures) కూడా తనిఖీ చేయండి.
పిక్సెల్ స్పేస్లో 3D జనరేషన్
చాలా జనరేటివ్ 3D పైప్లైన్లు ప్రపంచాన్ని ఒక హిడెన్ లాటెంట్ స్పేస్లోకి (hidden latent space) కుదిస్తాయి. దీనివల్ల వివరాలు కరిగిపోతాయి, అంచులు మసకబారుతాయి. త్వరిత రివ్యూ కోసం ఈ నష్టం ఆమోదయోగ్యమే కానీ, గేమ్ అసెట్ లేదా రియల్ జియోమెట్రీతో సరిపోవాల్సిన AR ఓవర్లే కోసం ఇది ఉపయోగపడదు. కొత్త పద్ధతులు ఈ అడ్డంకిని పూర్తిగా దాటి నేరుగా పిక్సెల్ స్పేస్లో పనిచేస్తున్నాయి. దీనివల్ల వచ్చే సీన్లు షార్ప్గా ఉంటాయి, స్పేషియల్ రిలేషన్షిప్లు స్థిరంగా ఉంటాయి మరియు అవుట్పుట్ను గేమింగ్ మరియు AR/VR కోసం ప్రొడక్షన్ పైప్లైన్లలో నేరుగా ఉపయోగించవచ్చు. కళాకారులు మరియు టెక్నికల్ డైరెక్టర్లకు ఇది చాలా ముఖ్యం, ఎందుకంటే ఇది 3D జనరేషన్ను కష్టతరం చేసే ఖరీదైన పోస్ట్-ప్రాసెసింగ్ క్లీనప్ను తొలగిస్తుంది.
AI పరిశోధనలోని చిన్న చిన్న పనులను చేయడం ప్రారంభించినప్పుడు
పరిశోధనా పత్రాన్ని రాయడం వల్ల శాస్త్రవేత్తలు వెనకబడటం అనేది అరుదుగా జరిగే విషయం. పోస్టర్, మూడు నిమిషాల వీడియో సమ్మరీ, బ్లాగ్ అడాప్టేషన్ మరియు సోషల్ మీడియా థ్రెడ్ వంటివి వారమంతా సమయాన్ని వృథా చేస్తాయి. కొత్త సాధనాలు ఇప్పుడు ఒకే ఒక పేపర్ను తీసుకుని, ఆ మొత్తం కమ్యూనికేషన్ స్టాక్ను ఆటోమేటిక్గా రూపొందిస్తాయి. ఆవిష్కరణల పరంగా చూస్తే, ఇతర వ్యవస్థలు నిజమైన ఆధారాల కోసం సాహిత్యాన్ని చదువుతాయి మరియు ఊహల ఆధారంగా కాకుండా, డాక్యుమెంట్ చేయబడిన లోపాల (gaps) ఆధారంగా పరిశోధనా దిశలను సూచిస్తాయి. దీని ఫలితంగా ప్రయోగం నుండి అవగాహన వరకు పట్టే సమయం తగ్గుతుంది. గ్రాడ్యుయేట్ విద్యార్థులు మరియు ప్రిన్సిపల్ ఇన్వెస్టిగేటర్లు ఫార్మాటింగ్ కోసం సమయాన్ని వృథా చేయకుండా, ఆలోచించడం కోసం గంటల కొద్దీ సమయాన్ని తిరిగి పొందవచ్చు.
ఊహల ద్వారా కాకుండా, జ్యామితి (Geometry) ద్వారా ఆప్టిమైజర్లను ఎంచుకోవడం
Adam మరియు Lion మధ్య ఎంపిక చేయడం అనేది ఇప్పటికీ ల్యాబ్ Slack ఛానెళ్ల ద్వారా అందరికీ తెలియని ఒక రహస్య జ్ఞానంలా అనిపిస్తుంది. కొత్త పరిశోధన ఈ సమస్యను జ్యామితీయ వర్గీకరణ వ్యవస్థ (geometric classification system) ఉపయోగించి మళ్ళీ నిర్వచిస్తుంది. మరోసారి GPU గంటలను వృథా చేసే బదులు, మీరు ఆప్టిమైజర్లను వాటి జ్యామితీయ లక్షణాల ద్వారా పోల్చవచ్చు మరియు అవి మీ loss landscapeతో ఎలా పరస్పర చర్య జరుపుతాయో అంచనా వేయవచ్చు. ఇది ఎంపిక ప్రక్రియను ఒక మంత్రతంత్రంలా కాకుండా, ఒక నిర్ధారణ (diagnosis) లాగా మారుస్తుంది. ప్రాక్టీషనర్లకు, దీని అర్థం ఆప్టిమైజర్ యొక్క జ్యామితి, డేటా యొక్క జ్యామితికి విరుద్ధంగా ఉండటం వల్ల నిశ్శబ్దంగా విఫలమయ్యే శిక్షణ (training runs) ప్రక్రియలు తగ్గుతాయి.
పరిణామాలను నిజంగా అర్థం చేసుకునే వరల్డ్ మోడల్స్ (World Models)
ఒక రోబో తన మార్గాన్ని ప్లాన్ చేస్తున్నట్లు చూపించే రెండర్డ్ వీడియో అద్భుతంగా ఉండవచ్చు, కానీ అది దేనినీ నిరూపించదు. అసలైన పరీక్ష ఏమిటంటే, వరల్డ్ మోడల్ తన చర్యల యొక్క దీర్ఘకాలిక పరిణామాలను అంచనా వేయగలదా లేదా అనేది. ఇప్పుడు ఆ పెట్టెను ఎత్తడం వల్ల తర్వాత రోబో చేయి షెల్ఫ్ వెనుక చిక్కుకుపోతుందా? కొత్త బెంచ్మార్క్లు విజువల్ మెరుపులను పక్కన పెట్టి, కేవలం కారణాధారాల ముందుచూపు (causal foresight) ఆధారంగా మోడళ్లకు స్కోర్లను ఇస్తాయి. ఇది ముఖ్యమైనది ఎందుకంటే ఒక అందమైన సిమ్యులేటర్ దెబ్బతిన్న సెన్సార్ను లేదా పడిపోయిన ప్యాలెట్ను సరిచేయలేదు. రోబోటిసిస్టులకు భౌతిక ప్రపంచంలోని సవాళ్లకు అనుగుణంగా ఉండే మూల్యాంకనం (evaluation) అవసరం.
భారీ GPU ఖర్చు లేకుండా డిఫ్యూజన్ (Diffusion) నడపడం
డిఫ్యూజన్ మోడల్స్ అద్భుతమైన చిత్రాలను సృష్టిస్తాయి, కానీ వాటికి భారీ కంప్యూటింగ్ ఖర్చు అవుతుంది. కొత్త క్వాంటైజేషన్ (quantization) పద్ధతులు భారీ కొత్త డేటాసెట్లు లేదా పూర్తి రీట్రైనింగ్ అవసరం లేకుండానే చిన్న GPUల కోసం ఈ వెయిట్స్ను కంప్రెస్ చేస్తాయి. మీరు స్వల్పంగా నాణ్యతను తగ్గించుకోవడం ద్వారా, లోకల్గా రన్ చేయడం, ఉన్న హార్డ్వేర్పై ఎక్కువ పనులను బ్యాచ్గా చేయడం లేదా ప్రీమియం క్లస్టర్లను అద్దెకు తీసుకోకుండా ఇన్ఫరెన్స్ (inference) అందించడం వంటి సౌకర్యాలను పొందవచ్చు. స్టూడియోలు మరియు స్వతంత్ర సృష్టికర్తలకు, ఇది జనరేటివ్ మీడియా యొక్క ఆర్థిక వ్యవస్థను మారుస్తుంది. వీడియో మరియు ఇమేజ్ జనరేషన్తో ప్రయోగాలు చేసే అడ్డంకులు గణనీయంగా తగ్గుతాయి.
అసలైన సారాంశం
ఈ మొత్తం పనిలో ఉన్న ప్రధాన అంశం ఆపరేషనలైజేషన్ (operationalization). పెద్దదిగా ఉంటే ఆటోమేటిక్గా మెరుగైనది అని భావించే దశను కమ్యూనిటీ దాటిపోయింది. ప్రాచుర్యం పొందుతున్న పరిశోధనా పత్రాలు ఇన్ఫరెన్స్-టైమ్ స్టెబిలిటీ, డేటా మిక్సింగ్ స్ట్రాటజీ, క్రాస్-ప్లాట్ఫారమ్ మెమరీ, ఎడ్జ్ డిప్లాయ్మెంట్ మరియు ఆధారిత ఆవిష్కరణల కోసం ఆప్టిమైజ్ చేయబడ్డాయి. అవి మోడల్ను హార్డ్వేర్ పరిమితులు, యూజర్ ఇంటర్ఫేస్లు మరియు పరిశోధనా వర్క్ఫ్లోలను కలిగి ఉన్న ఒక పెద్ద వ్యవస్థలో ఒక భాగంగా పరిగణిస్తాయి.
మీరు ఉత్పత్తులను (products) విడుదల చేస్తున్నట్లయితే, సంకేతం స్పష్టంగా ఉంది. పేపర్ మెట్రిక్స్ కోసం కాకుండా, డిప్లాయ్మెంట్ వాస్తవాల కోసం ఆప్టిమైజ్ చేయండి. గుర్తుంచుకోగల ఏజెంట్లను, నిజమైన పరికరాల్లో సరిపోయే మోడళ్లను నిర్మించండి.