Kimi K3 est-il le produit d'une distillation ? Les experts contestent les allégations

La tension géopolitique entourant l'intelligence artificielle a atteint un point de rupture alors que des responsables américains accusent des entreprises chinoises d'espionnage industriel. Bien que des allégations suggèrent que Moonshot AI ait utilisé Fable d'Anthropic pour entraîner son modèle Kimi K3, les principaux chercheurs en IA soutiennent que la réalité technique du développement des grands modèles de langage (LLM) raconte une histoire bien plus complexe.

Allégations de distillation de modèles et de vol de propriété intellectuelle

Michael Kratsios, conseiller scientifique de la Maison Blanche, a lancé de graves accusations contre Moonshot, l'entreprise derrière Kimi K3 — actuellement le plus grand LLM à poids ouverts disponible. Kratsios allègue que Moonshot s'est livré à une « distillation industrielle clandestine à grande échelle » pour voler une technologie américaine propriétaire. Cette affirmation est soutenue par le secrétaire au Trésor Scott Bessent, qui a noté que des « filigranes » de LLM américains sont apparus dans des modèles chinois.

La distillation est un processus par lequel un modèle plus petit est entraîné en interrogeant un modèle « frontière » plus vaste afin d'en extraire les capacités de raisonnement et les connaissances. Cela implique souvent un ajustement fin supervisé (SFT - supervised fine-tuning), où les prompts et les réponses d'un modèle cible sont utilisés pour entraîner le nouveau, ce qui peut parfois amener le nouveau modèle à adopter les « manières » ou les particularités conversationnelles spécifiques de l'original.

Pourquoi les experts doutent de la théorie de la distillation

Malgré le poids politique de ces affirmations, la communauté de recherche en IA reste sceptique. Braden Hancock, chercheur au Laude Institute et cofondateur de Snorkel AI, souligne un problème de calendrier important : Fable d'Anthropic n'est disponible publiquement que depuis le 1er juillet. « On ne peut pas distiller autant de données, entraîner un modèle et le publier en deux semaines », a noté Hancock.

De plus, Nathan Lambert de l'Allen Institute for AI soutient que la distillation par SFT devient de moins en moins efficace à mesure que les modèles atteignent la frontière technologique. Pour atteindre le niveau de performance observé dans Kimi K3, un modèle nécessiterait probablement des cycles massifs d'apprentissage par renforcement (RL - reinforcement learning). Ce processus nécessite que des dizaines de millions d'agents évaluent les réponses — une tâche qui serait extrêmement coûteuse et lente si elle était effectuée via l'API d'un concurrent.

Le rôle du matériel et de l'expertise technique

La controverse ne se limite pas au logiciel. Kratsios a également allégué que Moonshot a contourné les contrôles à l'exportation pour accéder au matériel de pointe de Nvidia, mentionnant spécifiquement les puces Grace Blackwell 300 et les serveurs équipés de GB300. Bien que l'exportation de ces puces vers la Chine soit interdite, des experts comme Sam Bresnick de Georgetown suggèrent que les marchés noirs et les chaînes d'approvisionnement mondiales complexes rendent la surveillance de ces flux de matériel extrêmement difficile.

Cependant, de nombreux chercheurs soutiennent que l'accent mis sur la distillation mine la légitimité technique des équipes d'IA chinoises. Avec des fondateurs issus d'institutions d'élite comme la Carnegie Mellon University, les experts suggèrent que Moonshot est capable de recherche originale plutôt que de simplement « profiter du succès des autres ».

Implications pour la course mondiale à l'IA

Ce différend met en lumière un fossé grandissant entre les récits politiques et les réalités techniques. Alors que l'industrie évolue vers un apprentissage par renforcement sophistiqué et des besoins de calcul massifs, le débat pour savoir si les entreprises « volent » l'intelligence ou progressent simplement grâce à une ingénierie supérieure continuera de façonner la politique commerciale internationale et la réglementation de l'IA.

Points clés à retenir

• Scepticisme technique : Les experts soutiennent que la sortie rapide de Kimi K3 rend mathématiquement improbable le fait qu'il ait été construit uniquement par la distillation de Fable d'Anthropic.
• Au-delà de l'ajustement fin : Bien que la distillation via l'ajustement fin supervisé existe, l'atteinte d'un niveau de performance de pointe nécessite probablement un apprentissage par renforcement avancé qui ne peut pas être facilement « copié ».
• Préoccupations matérielles : Les allégations d'accès illicite aux puces Nvidia Blackwell interdites ajoutent une couche de complexité géopolitique au débat sur les progrès de l'IA chinoise.