¿Es Kimi K3 un producto de la destilación? Los expertos cuestionan las acusaciones
La tensión geopolítica en torno a la inteligencia artificial ha llegado a un punto crítico mientras funcionarios de EE. UU. acusan a empresas chinas de espionaje industrial. Aunque las alegaciones sugieren que Moonshot AI utilizó Fable de Anthropic para entrenar su modelo Kimi K3, destacados investigadores de IA sostienen que la realidad técnica del desarrollo de modelos de lenguaje de gran tamaño (LLM) cuenta una historia mucho más compleja.
Alegaciones de destilación de modelos y robo de propiedad intelectual
El asesor científico de la Casa Blanca, Michael Kratsios, ha lanzado graves acusaciones contra Moonshot, la empresa detrás de Kimi K3 —actualmente el LLM de pesos abiertos más grande disponible—. Kratsios alega que Moonshot participó en una "destilación industrial encubierta a gran escala" para robar tecnología patentada de EE. UU. Esta afirmación cuenta con el respaldo del Secretario del Tesoro, Scott Bessent, quien señaló que han aparecido "marcas de agua" de LLMs estadounidenses en modelos chinos.
La destilación es un proceso en el que se entrena un modelo más pequeño consultando a un modelo "frontera" más grande para extraer sus capacidades de razonamiento y conocimiento. Esto a menudo implica un ajuste fino supervisado (SFT, por sus siglas en inglés), donde los prompts y las respuestas de un modelo objetivo se utilizan para entrenar al nuevo, lo que a veces provoca que el nuevo modelo adopte los "modales" o las peculiaridades conversacionales específicas del original.
Por qué los expertos dudan de la teoría de la destilación
A pesar del peso político de estas afirmaciones, la comunidad de investigación de IA se mantiene escéptica. Braden Hancock, investigador del Laude Institute y cofundador de Snorkel AI, señala un problema significativo en el cronograma: Fable de Anthropic solo ha estado disponible públicamente desde el 1 de julio. "No se puede destilar tanta información, entrenar un modelo y lanzarlo en dos semanas", señaló Hancock.
Además, Nathan Lambert, del Allen Institute for AI, sostiene que la destilación mediante SFT es cada vez menos efectiva a medida que los modelos avanzan hacia la frontera. Para alcanzar el nivel de rendimiento observado en Kimi K3, es probable que un modelo requiera ejecuciones masivas de aprendizaje por refuerzo (RL). Este proceso requiere decenas de millones de agentes para calificar las respuestas, una tarea que resultaría prohibitivamente costosa y lenta si se realizara a través de la API de un competidor.
El papel del hardware y la experiencia técnica
La controversia no se limita al software. Kratsios también alegó que Moonshot eludió los controles de exportación para acceder a hardware avanzado de Nvidia, mencionando específicamente los chips Grace Blackwell 300 y los servidores equipados con GB300. Aunque la exportación de estos chips a China está prohibida, expertos como Sam Bresnick, de Georgetown, sugieren que los mercados negros y las complejas cadenas de suministro globales hacen que el seguimiento de estos flujos de hardware sea extremadamente difícil.
Sin embargo, muchos investigadores argumentan que el enfoque en la destilación socava la legitimidad técnica de los equipos de IA chinos. Con fundadores provenientes de instituciones de élite como la Carnegie Mellon University, los expertos sugieren que Moonshot es capaz de realizar investigaciones originales en lugar de simplemente "aprovecharse del éxito ajeno".
Implicaciones para la carrera global de la IA
Esta disputa pone de relieve la creciente brecha entre las narrativas políticas y las realidades técnicas. A medida que la industria avanza hacia un aprendizaje por refuerzo sofisticado y requisitos de computación masivos, el debate sobre si las empresas están "robando" inteligencia o simplemente avanzando mediante una ingeniería superior seguirá moldeando la política comercial internacional y la regulación de la IA.
Conclusiones clave
- Escepticismo técnico: Los expertos argumentan que el rápido lanzamiento de Kimi K3 hace que sea matemáticamente improbable que haya sido construido únicamente mediante la destilación de Fable de Anthropic.
- Más allá del ajuste fino: Si bien la destilación mediante ajuste fino supervisado existe, alcanzar un rendimiento de nivel frontera probablemente requiere un aprendizaje por refuerzo avanzado que no se puede "copiar" fácilmente.
- Preocupaciones sobre el hardware: Las alegaciones de acceso ilícito a los chips Nvidia Blackwell prohibidos añaden una capa de complejidad geopolítica al debate sobre el progreso de la IA china.