జూలై 16న, Moonshot AI తన Kimi K3ని విడుదల చేసింది. ఇది ఇప్పటికే రద్దీగా ఉన్న లీడర్బోర్డ్లో కేవలం మరొక ఎంట్రీ మాత్రమే కాదు. అప్పటి వరకు ఎవరూ చూడని అతిపెద్ద ఓపెన్-వెయిట్ (open-weight) స్కేల్లో, ఇది సాధారణంగా స్టార్టప్లు భరించలేని ఎంటర్ప్రైజ్ లైసెన్సింగ్ బిల్లులతో వచ్చే రీజనింగ్ మరియు ప్రాసెసింగ్ శక్తిని అందించింది. మీరు దీనిని డౌన్లోడ్ చేసుకోవచ్చు, మార్పులు చేయవచ్చు మరియు మీ స్వంత సర్వర్లలో రన్ చేయవచ్చు. ప్రతి డాలర్ను జాగ్రత్తగా లెక్కించే డెవలపర్కు, ఇది తిరస్కరించలేని ఆఫర్.
కానీ, దాని ధర మాత్రమే పూర్తి ఖర్చు కాదు.
చైనీస్ ఓపెన్-వెయిట్ మోడల్స్పై ఆధారపడటంలో అసలు ఖర్చు ఊహించని చోట కనిపిస్తోంది: కాంగ్రెస్ విచారణలు, ఎగుమతి నియంత్రణ మెమోలు మరియు వాషింగ్టన్ రక్షణ వర్గాల్లో పెరుగుతున్న ఆందోళనలు. ప్రొప్రైటరీ APIలను మీరు తప్పించుకోవడానికి వీలు కల్పించే అదే ఓపెన్నెస్, విధాన నిర్ణేతలను (policymakers) ఆందోళనకు గురిచేస్తోంది. వెయిట్స్ (weights) ఓపెన్గా ఉన్నప్పుడు, ఆ మోడల్ కేవలం సాఫ్ట్వేర్ మాత్రమే కాదు. అది ఒక ఇన్ఫ్రాస్ట్రక్చర్గా మారుతుంది. మరియు విదేశాలలో నిర్మించిన ఇన్ఫ్రాస్ట్రక్చర్కు రాజకీయ ప్రాధాన్యత ఉంటుంది.
మొదట ఈ ఒప్పందం చాలా ఆకర్షణీయంగా కనిపిస్తుంది
ఈ మోడల్స్ ఎందుకు ఇంత వేగంగా విస్తరిస్తున్నాయో మనం నిజాయితీగా మాట్లాడుకుందాం. వెస్ట్రన్ క్లోజ్డ్-సోర్స్ API మీ యూజర్ బేస్ పెరిగే కొద్దీ భారీ ఫీజులను వసూలు చేయవచ్చు. టోకెన్ ఖర్చులు పెరుగుతాయి. రేట్ లిమిట్స్ (rate limits) మీ ఉత్పత్తిని పరిమితం చేస్తాయి. మీరు ఇంటెలిజెన్స్ను అద్దెకు తీసుకుంటున్నట్లుగా ఉంటుంది, మరియు ఆ యజమాని నిబంధనలను ఎప్పుడైనా మార్చవచ్చు.
Kimi K3 వంటి ఓపెన్-వెయిట్ మోడల్ ఆ సంబంధాన్ని పూర్తిగా మారుస్తుంది. మీరు పారామీటర్లను ఒక్కసారి మాత్రమే డౌన్లోడ్ చేసుకుంటారు. వాటిని మీ స్వంతంగా లేదా మీరు నియంత్రించే క్లౌడ్ ఇన్స్టన్స్లో హోస్ట్ చేసుకోవచ్చు. మీ ఇన్ఫరెన్స్ (inference) ఖర్చులు కేవలం విద్యుత్ మరియు హార్డ్వేర్ అద్దెకు మాత్రమే పరిమితమవుతాయి. కస్టమర్ సపోర్ట్ టికెట్లను ప్రాసెస్ చేసే SaaS స్టార్టప్కు లేదా అంతర్గత నాలెడ్జ్ బేస్ను నిర్మిస్తున్న మధ్యతరహా సంస్థకు, ఈ లెక్క చాలా లాభదాయకంగా ఉంటుంది. మీరు ఇకపై ప్రతి క్వెరీకి డబ్బు చెల్లించాల్సిన అవసరం లేదు. మీరు కంప్యూట్ (compute) కోసం చెల్లిస్తున్నారు, మరియు కంప్యూట్ ఖర్చు నిరంతరం తగ్గుతూనే ఉంటుంది.
ఇందులో కస్టమైజేషన్ అంశం కూడా ఉంది. క్లోజ్డ్ మోడల్స్ అనేవి బ్లాక్ బాక్స్ల వంటివి. మీరు ఒక ప్రాంప్ట్ పంపిస్తారు, ప్రతిస్పందన పొందుతారు, మరియు ఆ ప్రవర్తన వెర్షన్ల అంతటా స్థిరంగా ఉంటుందని ఆశిస్తారు. ఓపెన్ వెయిట్స్తో, మీ ఇంజనీర్లు నిర్దిష్ట పనుల కోసం మోడల్ను ఫైన్-ట్యూన్ (fine-tune), ప్రూన్ (prune) లేదా డిస్టిల్ (distill) చేయవచ్చు. ఒక ఫిన్టెక్ కంపెనీ దానిని సొంత ఫ్రాడ్ ప్యాటర్న్స్పై శిక్షణ ఇవ్వవచ్చు. ఒక తయారీ సంస్థ, సున్నితమైన డేటాను వేల మైళ్ల దూరంలో ఉన్న థర్డ్-పార్టీ సర్వర్కు పంపకుండానే, నేరుగా ఎడ్జ్ డివైజ్లలో (edge devices) దీనిని అమర్చుకోవచ్చు.
ఆ నియంత్రణ చాలా ముఖ్యం. అందుకే ఇది కేవలం పొదుపు గురించి మాత్రమే కాదు, స్వయంప్రతిపత్తి (autonomy) గురించి కూడా.
వెయిట్స్తో పాటు షరతులు కూడా వస్తున్నప్పుడు
సమస్య ఏమిటంటే, స్వయంప్రతిపత్తి అనేది మీ పునాది స్థిరంగా ఉంటుందని భావిస్తుంది. ఈ మోడల్స్ మంచివా కాదా అని వాషింగ్టన్ ఇప్పుడు అడగడం లేదు. అమెరికా ఆర్థిక వ్యవస్థలోని మొత్తం రంగాలు వీటిపై ఆధారపడితే ఏమవుతుందో అని అడుగుతోంది.
విధానపరమైన చర్చ తీవ్రంగా మారింది. కృత్రిమ మేధస్సు (AI) గురించి గతంలో జరిగిన చర్చలు బయాస్ (bias), భద్రత లేదా ఉనికికి సంబంధించిన ప్రమాదాలపై దృష్టి సారించాయి. ఇప్పుడు ఆందోళన సాంకేతిక సార్వభౌమాధికారం (technological sovereignty) గురించి. ఒక కంపెనీ చైనాలో అభివృద్ధి చేసిన వెయిట్స్ను తన ప్రొడక్ట్ స్టాక్లో విలీనం చేసినప్పుడు, మోడల్ యొక్క టోకెన్ ప్రిడిక్షన్ ఖచ్చితత్వంతో సంబంధం లేని వ్యవస్థాగత బలహీనతల గురించి విధాన నిర్ణేతలు ఆందోళన చెందుతున్నారు.
దీనిని ఆచరణాత్మకంగా ఆలోచించండి. ఓపెన్ వెయిట్స్కు కూడా అప్డేట్లు, టూలింగ్ ఎకోసిస్టమ్స్ మరియు కమ్యూనిటీ మద్దతు అవసరం. ఒక మోడల్ మీ ఉత్పత్తికి పునాదిగా మారితే, మీరు కేవలం కోడ్ను మాత్రమే దిగుమతి చేసుకోవడం లేదు. మీరు ఒక డిపెండెన్సీ చైన్ (dependency chain)ను దిగుమతి చేసుకుంటున్నారు. ఒకవేళ ఆ ఆర్కిటెక్చర్పై తర్వాత ఎగుమతి నియంత్రణలు (export controls) విధించబడితే ఏమవుతుంది? కొన్ని పారామీటర్ ఫైల్లను రన్ చేయడాన్ని నిషేధించే నిబంధనలను హోస్టింగ్ ప్రొవైడర్లు ఎదుర్కోవాల్సి వస్తే ఏమవుతుంది? భవిష్యత్తులో విధించే ఆంక్షల వల్ల వాణిజ్య అవసరాల కోసం డెరివేటివ్లను ఫైన్-ట్యూన్ చేయడం చట్టవిరుద్ధం అయితే ఏమవుతుంది?
ఇవి కేవలం ఊహాజనిత ప్రశ్నలు కావు. ట్రెజరీ మరియు వాణిజ్య శాఖలు ఇప్పటికే చైనీస్ టెక్నాలజీ సంస్థలను ఎంటిటీ లిస్ట్లలో (entity lists) చేర్చడానికి మరియు నిర్దిష్ట సాఫ్ట్వేర్ మరియు హార్డ్వేర్ యొక్క వినియోగాన్ని పరిమితం చేయడానికి సిద్ధంగా ఉన్నాయని చూపించాయి. చౌకైన చైనీస్ GPUల చుట్టూ తమ వ్యాపారాలను నిర్మించుకున్న వ్యవస్థాపకులు (founders), సప్లై చైన్లు ఒక్క రాత్రిలో నిలిచిపోయినప్పుడు ఈ పాఠాన్ని కఠినంగా నేర్చుకున్నారు. వెయిట్స్ కేవలం బిట్స్ మాత్రమే కావచ్చు, కానీ వాటిని నియంత్రించే చట్టపరమైన ఫ్రేమ్వర్క్లు సెమీకండక్టర్ నిషేధాల మాదిరిగానే వేగంగా మారవచ్చు.
ఒక CTOకి, ఇది Jira టికెట్లలో కనిపించని ఒక రకమైన టెక్నికల్ డెట్ (technical debt)ను పరిచయం చేస్తుంది. మీరు ఆరు నెలల పాటు మీ ఇంజనీరింగ్ టీమ్కు Kimi K3 టూల్చైన్పై శిక్షణ ఇవ్వడం, దానిని మీ CI/CD పైప్లైన్లో విలీనం చేయడం మరియు కస్టమర్ ఫీచర్లను లాంచ్ చేయడం కోసం సమయం వెచ్చించవచ్చు. అప్పుడు ఒకే ఒక్క ఫెడరల్ రిజిస్టర్ నోటీసు వల్ల మీరు మొత్తం వ్యవస్థను మార్చాల్సి రావచ్చు. మోడల్ ఫ్యామిలీల మధ్య మారడం అనేది డేటాబేస్ను మార్చినట్లు సులభం కాదు. దీనికి ప్రాంప్ట్లను మళ్ళీ ట్యూన్ చేయడం, అవుట్పుట్లను మళ్ళీ ధృవీకరించడం మరియు తరచుగా డౌన్స్ట్రీమ్ క్లాసిఫైయర్లను మళ్ళీ శిక్షణ ఇవ్వడం అవసరం. ఆ మార్పు వల్ల అయ్యే ఖర్చు, మీరు API బిల్లులపై ఆదా చేసిన దానికంటే చాలా ఎక్కువగా ఉండవచ్చు.
స్ప్లిట్ స్టాక్ అంటే రెట్టింపు పని
వాషింగ్టన్ కొన్ని చైనీస్ మోడల్స్ను లేదా వాటిని సమర్థించే ఆర్కిటెక్చర్లను పరిమితం చేసే దిశగా అడుగులు వేస్తే, ప్రపంచ AI మార్కెట్ కేవలం అధిక ధరలను మాత్రమే ఎదుర్కోవాల్సి రాదు; అది వాస్తవ విభజనను (fragmentation) ఎదుర్కోవాల్సి ఉంటుంది.
టెలికమ్యూనికేషన్ ప్రమాణాలు మరియు సోషల్ మీడియా ప్లాట్ఫారమ్ల విషయంలో మనం ఇలాంటి పరిస్థితులను అంతకుముందు చూశాము, కానీ AI మౌలిక సదుపాయాలు (infrastructure) అంతకంటే ప్రాథమికమైనవి. విడిపోయిన స్టాక్ (split stack) అంటే అసమర్థమైన toolchains, భిన్నమైన భద్రతా ఫ్రేమ్వర్క్లు మరియు పునరావృతమయ్యే నిబంధనల విధానాలు (duplicated compliance regimes) అని అర్థం. బెర్లిన్లోని ఒక డెవలపర్ యూరోపియన్ మార్కెట్ కోసం ఒక రకమైన weights మరియు guardrailsలను ఉపయోగించవచ్చు, మరియు అమెరికాలో వినియోగం కోసం పూర్తిగా వేరొక స్టాక్ను ఉపయోగించాల్సి రావచ్చు. ఇది కేవలం విసుగు కలిగించే విషయం మాత్రమే కాదు, చాలా ఖర్చుతో కూడుకున్నది.
ఎంటర్ప్రైజ్ ప్రొక్యూర్మెంట్ టీమ్లు రెండు వేర్వేరు వెండర్ రివ్యూలను నిర్వహించాల్సి ఉంటుంది. లీగల్ విభాగం ప్రస్తుతం డేటా ప్రైవసీ కోసం చూపేంత కఠినత్వంతో మోడల్ మూలాలను (model provenance) ట్రాక్ చేయాల్సి ఉంటుంది. ఓపెన్-సోర్స్ రిపోజిటరీలు జాతీయ సరిహద్దుల ఆధారంగా విడిపోవచ్చు (fork), దీనివల్ల ప్రముఖ fine-tuning librariesలకు చైనీస్ అందించే సహకారాలు పరిశీలనకు లేదా మినహాయింపునకు గురవుతాయి. ఓపెన్-weight డెవలప్మెంట్ను నిర్వచించిన సహకార వ్యవస్థ (collaborative fabric) విచ్ఛిన్నం కావడం ప్రారంభిస్తుంది.
చిన్న కంపెనీలకు, ఈ విభజన (bifurcation) మరింత కష్టతరమైనది. మైక్రోసాఫ్ట్ లేదా గూగుల్ వంటి దిగ్గజాలు