Ist Kimi K3 ein Produkt der Destillation? Experten stellen Vorwürfe infrage

Die geopolitischen Spannungen rund um die künstliche Intelligenz haben einen Siedepunkt erreicht, da US-Beamte chinesischen Unternehmen Industriespionage vorwerfen. Während Vorwürfe nahelegen, dass Moonshot AI Anthropic’s Fable zur Schulung seines Kimi K3-Modells verwendet hat, argumentieren führende KI-Forscher, dass die technische Realität der Entwicklung großer Sprachmodelle (LLM) eine weitaus komplexere Geschichte erzählt.

Vorwürfe der Modelldestillation und des Diebstahls geistigen Eigentums

Michael Kratsios, wissenschaftlicher Berater des Weißen Hauses, hat schwere Anschuldigungen gegen Moonshot erhoben, das Unternehmen hinter Kimi K3 – derzeit dem größten verfügbaren Open-Weight-LLM. Kratsios behauptet, Moonshot habe sich einer „groß angelegten, verdeckten industriellen Destillation“ bedient, um geschützte US-Technologie zu stehlen. Diese Behauptung wird von Schatzsekretär Scott Bessent gestützt, der anmerkte, dass „Wasserzeichen“ von US-LLMs in chinesischen Modellen aufgetaucht seien.

Destillation ist ein Prozess, bei dem ein kleineres Modell trainiert wird, indem ein größeres „Frontier“-Modell abgefragt wird, um dessen Denkfähigkeiten und Wissen zu extrahieren. Dies beinhaltet oft Supervised Fine-Tuning (SFT), bei dem die Prompts und Antworten eines Zielmodells verwendet werden, um das neue Modell zu trainieren, was dazu führen kann, dass das neue Modell die „Manieren“ oder spezifischen Gesprächsbesonderheiten des Originals übernimmt.

Warum Experten die Destillationstheorie bezweifeln

Trotz des politischen Gewichts dieser Behauptungen bleibt die KI-Forschungsgemeinschaft skeptisch. Braden Hancock, Forscher am Laude Institute und Mitbegründer von Snorkel AI, weist auf ein erhebliches Problem im Zeitplan hin: Anthropic’s Fable ist erst seit dem 1. Juli öffentlich verfügbar. „Man kann nicht so viele Daten destillieren, ein Modell trainieren und es innerhalb von zwei Wochen veröffentlichen“, stellte Hancock fest.

Darüber hinaus argumentiert Nathan Lambert vom Allen Institute for AI, dass die Destillation durch SFT immer weniger effektiv wird, je näher sich die Modelle der „Frontier“ nähern. Um das in Kimi K3 gezeigte Leistungsniveau zu erreichen, würde ein Modell wahrscheinlich massive Reinforcement Learning (RL)-Durchläufe erfordern. Dieser Prozess erfordert viele Millionen von Agenten, um Antworten zu bewerten – eine Aufgabe, die prohibitiv teuer und langsam wäre, wenn sie über die API eines Wettbewerbers durchgeführt würde.

Die Rolle von Hardware und technischer Expertise

Die Kontroverse beschränkt sich nicht nur auf Software. Kratsios behauptete auch, dass Moonshot Exportkontrollen umgangen habe, um Zugang zu fortschrittlicher Nvidia-Hardware zu erhalten, wobei er speziell Grace Blackwell 300-Chips und mit GB300 ausgestattete Server erwähnte. Obwohl der Export dieser Chips nach China verboten ist, deuten Experten wie Sam Bresnick von der Georgetown University darauf hin, dass Schwarzmärkte und komplexe globale Lieferketten die Überwachung dieser Hardwareflüsse extrem schwierig machen.

Viele Forscher argumentieren jedoch, dass der Fokus auf die Destillation die technische Legitimität chinesischer KI-Teams untergräbt. Da die Gründer aus Elite-Institutionen wie der Carnegie Mellon University stammen, vermuten Experten, dass Moonshot zu originärer Forschung fähig ist, anstatt nur „auf den Lorbeeren anderer zu reiten“.

Auswirkungen auf das globale KI-Rennen

Dieser Streit verdeutlicht die wachsende Kluft zwischen politischen Narrativen und technischen Realitäten. Während sich die Branche in Richtung anspruchsvollem Reinforcement Learning und massiven Rechenanforderungen bewegt, wird die Debatte darüber, ob Unternehmen Intelligenz „stehlen“ oder sich einfach durch überlegene Ingenieurskunst weiterentwickeln, die internationale Handelspolitik und die KI-Regulierung weiterhin prägen.

Wichtigste Erkenntnisse

• Technische Skepsis: Experten argumentieren, dass die schnelle Veröffentlichung von Kimi K3 es mathematisch unwahrscheinlich macht, dass es ausschließlich durch die Destillation von Anthropic's Fable erstellt wurde.
• Jenseits von Fine-Tuning: Obwohl Destillation via Supervised Fine-Tuning existiert, erfordert das Erreichen von Frontier-Leistung wahrscheinlich fortgeschrittenes Reinforcement Learning, das nicht einfach „kopiert“ werden kann.
• Hardware-Bedenken: Vorwürfe über den illegalen Zugriff auf verbotene Nvidia Blackwell-Chips verleihen der Debatte über den chinesischen KI-Fortschritt eine zusätzliche geopolitische Komplexitätsebene.