Kimi K3 డిస్టిలేషన్ (Distillation) ద్వారా తయారైనదా? ఆరోపణలను సవాలు చేస్తున్న నిపుణులు

కృత్రిమ మేధ (AI) చుట్టూ ఉన్న భౌగోళిక రాజకీయ ఉద్రిక్తతలు తీవ్రతరం అయ్యాయి, ఎందుకంటే అమెరికా అధికారులు చైనా సంస్థలపై పారిశ్రామిక గూఢచారిత్వ ఆరోపణలు చేస్తున్నారు. Moonshot AI తన Kimi K3 మోడల్‌ను శిక్షణ ఇవ్వడానికి Anthropic యొక్క Fableను ఉపయోగించిందని ఆరోపణలు ఉన్నప్పటికీ, లార్జ్ లాంగ్వేజ్ మోడల్ (LLM) అభివృద్ధి యొక్క సాంకేతిక వాస్తవాలు చాలా సంక్లిష్టమైన కథను చెబుతున్నాయని ప్రముఖ AI పరిశోధకులు వాదిస్తున్నారు.

మోడల్ డిస్టిలేషన్ మరియు IP దొంగతనం ఆరోపణలు

ప్రస్తుతం అందుబాటులో ఉన్న అతిపెద్ద ఓపెన్-వెయిట్ LLM అయిన Kimi K3 వెనుక ఉన్న సంస్థ Moonshotపై వైట్ హౌస్ సైన్స్ అడ్వైజర్ మైఖేల్ క్రాట్సియోస్ తీవ్రమైన ఆరోపణలు చేశారు. అమెరికా యొక్క యాజమాన్య సాంకేతికతను దొంగిలించడానికి Moonshot "భారీ స్థాయి, రహస్య పారిశ్రామిక డిస్టిలేషన్" (large-scale, covert industrial distillation) లో పాల్గొన్నట్లు క్రాట్సియోస్ ఆరోపించారు. అమెరికా LLMల యొక్క "వాటర్‌మార్క్‌లు" చైనా మోడళ్లలో కనిపిస్తున్నాయని ట్రెజరీ సెక్రటరీ స్కాట్ బెసెంట్ పేర్కొనడంతో ఈ వాదనకు మద్దతు లభించింది.

డిస్టిలేషన్ అనేది ఒక ప్రక్రియ, ఇందులో ఒక పెద్ద "ఫ్రంటియర్" (frontier) మోడల్ యొక్క తార్కిక సామర్థ్యాలను మరియు జ్ఞానాన్ని సేకరించడానికి దానిని క్వెరీ చేయడం ద్వారా ఒక చిన్న మోడల్‌కు శిక్షణ ఇస్తారు. ఇందులో తరచుగా సూపర్వైజ్డ్ ఫైన్-ట్యూనింగ్ (SFT) ఉంటుంది, ఇక్కడ ఒక టార్గెట్ మోడల్ యొక్క ప్రాంప్ట్‌లు మరియు ప్రతిస్పందనలను కొత్త మోడల్‌కు శిక్షణ ఇవ్వడానికి ఉపయోగిస్తారు, దీనివల్ల కొన్నిసార్లు కొత్త మోడల్ అసలు మోడల్ యొక్క "ప్రవర్తన" లేదా నిర్దిష్ట సంభాషణ శైలులను అవలంబించవచ్చు.

నిపుణులు డిస్టిలేషన్ సిద్ధాంతాన్ని ఎందుకు అనుమానిస్తున్నారు?

ఈ ఆరోపణలకు రాజకీయ ప్రాధాన్యత ఉన్నప్పటికీ, AI పరిశోధనా రంగం మాత్రం సందేహంగానే ఉంది. Laude Institute పరిశోధకుడు మరియు Snorkel AI సహ వ్యవస్థాపకుడు బ్రాడెన్ హ్యాంకాక్ ఒక ముఖ్యమైన కాలక్రమ సమస్యను ചൂണ്ടပြారు: Anthropic యొక్క Fable జూలై 1 నుండి మాత్రమే బహిరంగంగా అందుబాటులోకి వచ్చింది. "అంత డేటాను డిస్టిల్ చేసి, ఒక మోడల్‌కు శిక్షణ ఇచ్చి, రెండు వారాల్లో విడుదల చేయడం సాధ్యం కాదు" అని హ్యాంకాక్ పేర్కొన్నారు.

అంతేకాకుండా, మోడల్స్ ఫ్రంటియర్ స్థాయికి చేరుతున్న కొద్దీ SFT ద్వారా డిస్టిలేషన్ ప్రభావం తగ్గుతోందని Allen Institute for AIకి చెందిన నథన్ లాంబెర్ట్ వాదిస్తున్నారు. Kimi K3 లో చూసిన స్థాయి పనితీరును సాధించాలంటే, ఒక మోడల్‌కు భారీ రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ (RL) ప్రక్రియ అవసరమవుతుంది. ఈ ప్రక్రియలో ప్రతిస్పందనలను గ్రేడ్ చేయడానికి పదుల లక్షల ఏజెంట్లు అవసరమవుతారు—దీనిని ప్రత్యర్థి API ద్వారా చేస్తే అది చాలా ఖరీదైనదిగా మరియు నెమ్మదిగా మారుతుంది.

హార్డ్‌వేర్ మరియు సాంకేతిక నైపుణ్యం యొక్క పాత్ర

ఈ వివాదం కేవలం సాఫ్ట్‌వేర్‌కే పరిమితం కాలేదు. Moonshot అధునాతన Nvidia హార్డ్‌వేర్‌ను పొందడానికి ఎగుమతి నియంత్రణలను ఉల్లంఘించిందని క్రాట్సియోస్ ఆరోపించారు, ప్రత్యేకంగా Grace Blackwell 300 చిప్స్ మరియు GB300-సమర్థత కలిగిన సర్వర్లను పేర్కొన్నారు. ఈ చిప్‌ల ఎగుమతి చైనాకు నిషేధించబడినప్పటికీ, బ్లాక్ మార్కెట్లు మరియు సంక్లిష్టమైన గ్లోబల్ సప్లై చైన్‌ల వల్ల ఈ హార్డ్‌వేర్ ప్రవాహాలను పర్యవేక్షించడం చాలా కష్టమని జార్జిటౌన్ నిపుణుడు సామ్ బ్రెస్‌నిక్ సూచించారు.

అయితే, డిస్టిలేషన్ పైనే దృష్టి పెట్టడం వల్ల చైనా AI బృందాల సాంకేతిక నైపుణ్యం తక్కువగా కనిపిస్తుందని చాలా మంది పరిశోధకులు వాదిస్తున్నారు. Carnegie Mellon University వంటి ప్రతిష్టాత్మక సంస్థల నుండి వచ్చిన వ్యవస్థాపకులు ఉండటంతో, Moonshot కేవలం ఇతరుల విజయాలపై ఆధారపడటమే కాకుండా, స్వతంత్ర పరిశోధన చేయగలదని నిపుణులు సూచిస్తున్నారు.

గ్లోబల్ AI రేసుపై ప్రభావం

ఈ వివాదం రాజకీయ కథనాలు మరియు సాంకేతిక వాస్తవాల మధ్య పెరుగుతున్న వ్యత్యాసాన్ని తెలియజేస్తుంది. పరిశ్రమ అధునాతన రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ మరియు భారీ కంప్యూట్ అవసరాల వైపు వెళ్తున్న కొద్దీ, కంపెనీలు మేధస్సును "దొంగిలిస్తున్నాయా" లేదా కేవలం మెరుగైన ఇంజనీరింగ్ ద్వారా ముందుకు వెళ్తున్నాయా అనే చర్చ అంతర్జాతీయ వాణిజ్య విధానం మరియు AI నియంత్రణను ప్రభావితం చేస్తూనే ఉంటుంది.

ముఖ్య అంశాలు

  • సాంకేతిక సందేహం: Kimi K3 యొక్క వేగవంతమైన విడుదల వల్ల, అది కేవలం Anthropic యొక్క Fable డిస్టిలేషన్ ద్వారా మాత్రమే నిర్మించబడిందని నమ్మడం గణితపరంగా అసాధ్యమని నిపుణులు వాదిస్తున్నారు.
  • ఫైన్-ట్యూనింగ్ కంటే మించి: సూపర్వైజ్డ్ ఫైన్-ట్యూనింగ్ ద్వారా డిస్టిలేషన్ ఉన్నప్పటికీ, ఫ్రంటియర్ స్థాయి పనితీరును సాధించాలంటే సులభంగా "కాపీ" చేయలేని అధునాతన రీన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ అవసరమవుతుంది.
  • హార్డ్‌వేర్ ఆందోళనలు: నిషేధించబడిన Nvidia Blackwell చిప్‌లను అక్రమంగా పొందినట్లుగా ఉన్న ఆరోపణలు, చైనా AI పురోగతిపై జరుగుతున్న చర్చకు భౌగోళిక రాజకీయ సంక్లిష్టతను జోడిస్తున్నాయి.