Kimi K3 เป็นผลผลิตจากการทำ Distillation หรือไม่? ผู้เชี่ยวชาญโต้แย้งข้อกล่าวหา
ความตึงเครียดทางภูมิรัฐศาสตร์ที่เกี่ยวข้องกับปัญญาประดิษฐ์ได้มาถึงจุดเดือด เมื่อเจ้าหน้าที่สหรัฐฯ กล่าวหาบริษัทจีนว่ากระทำการจารกรรมทางอุตสาหกรรม แม้จะมีข้อกล่าวหาว่า Moonshot AI ใช้ Fable ของ Anthropic ในการฝึกฝนโมเดล Kimi K3 ของตน แต่เหล่านักวิจัย AI ชั้นนำแย้งว่าความจริงทางเทคนิคของการพัฒนาโมเดลภาษาขนาดใหญ่ (LLM) นั้นมีรายละเอียดที่ซับซ้อนกว่านั้นมาก
ข้อกล่าวหาเรื่องการทำ Model Distillation และการขโมยทรัพย์สินทางปัญญา
Michael Kratsios ที่ปรึกษาด้านวิทยาศาสตร์ของทำเนียบขาว ได้ตั้งข้อกล่าวหาที่รุนแรงต่อ Moonshot ซึ่งเป็นบริษัทผู้อยู่เบื้องหลัง Kimi K3 ซึ่งปัจจุบันเป็น LLM แบบ open-weight ที่ใหญ่ที่สุดที่มีอยู่ โดย Kratsios อ้างว่า Moonshot ได้ดำเนินการ "การทำ industrial distillation แบบลับๆ ในระดับขนาดใหญ่" เพื่อขโมยเทคโนโลยีที่เป็นกรรมสิทธิ์ของสหรัฐฯ ข้อกล่าวหานี้ได้รับการสนับสนุนจากรัฐมนตรีว่าการกระทรวงการคลัง Scott Bessent ซึ่งระบุว่า "ลายน้ำ" (watermarks) ของ LLM จากสหรัฐฯ ปรากฏอยู่ในโมเดลของจีน
Distillation คือกระบวนการที่โมเดลขนาดเล็กถูกฝึกฝนโดยการส่งคำสั่ง (querying) ไปยังโมเดล "frontier" ที่มีขนาดใหญ่กว่า เพื่อดึงความสามารถในการใช้เหตุผลและความรู้ของโมเดลนั้นออกมา กระบวนการนี้มักเกี่ยวข้องกับการทำ supervised fine-tuning (SFT) ซึ่งมีการใช้ prompt และคำตอบของโมเดลเป้าหมายมาใช้ในการฝึกฝนโมเดลใหม่ ซึ่งบางครั้งอาจทำให้โมเดลใหม่รับเอา "มารยาท" หรือลักษณะเฉพาะในการสนทนาของโมเดลต้นฉบับมาด้วย
ทำไมผู้เชี่ยวชาญจึงสงสัยในทฤษฎีการทำ Distillation
แม้ข้อกล่าวหาเหล่านี้จะมีน้ำหนักทางการเมือง แต่ชุมชนนักวิจัย AI ยังคงมีความสงสัย Braden Hancock นักวิจัยจาก Laude Institute และผู้ร่วมก่อตั้ง Snorkel AI ชี้ให้เห็นถึงปัญหาเรื่องกรอบเวลาที่สำคัญ โดยระบุว่า Fable ของ Anthropic เพิ่งเปิดให้ใช้งานต่อสาธารณะเมื่อวันที่ 1 กรกฎาคมที่ผ่านมาเท่านั้น "คุณไม่สามารถทำ distillation ข้อมูลจำนวนมหาศาลขนาดนั้น ฝึกฝนโมเดล และปล่อยออกมาได้ภายในเวลาเพียงสองสัปดาห์" Hancock ตั้งข้อสังเกต
นอกจากนี้ Nathan Lambert จาก Allen Institute for AI แย้งว่าการทำ distillation ผ่าน SFT เริ่มมีประสิทธิภาพลดลงเมื่อโมเดลพัฒนาไปสู่ระดับ frontier การจะบรรลุระดับประสิทธิภาพอย่างที่เห็นใน Kimi K3 โมเดลน่าจะต้องผ่านกระบวนการ reinforcement learning (RL) ครั้งใหญ่ ซึ่งกระบวนการนี้ต้องใช้ agent จำนวนหลายสิบล้านตัวในการให้คะแนนคำตอบ ซึ่งเป็นงานที่ทั้งแพงและล่าช้าเกินกว่าจะทำได้หากต้องทำผ่าน API ของคู่แข่ง
บทบาทของฮาร์ดแวร์และความเชี่ยวชาญทางเทคนิค
ข้อพิพาทนี้ไม่ได้จำกัดอยู่แค่เรื่องซอฟต์แวร์ Kratsios ยังอ้างว่า Moonshot ได้หลบเลี่ยงมาตรการควบคุมการส่งออกเพื่อเข้าถึงฮาร์ดแวร์ขั้นสูงของ Nvidia โดยระบุเจาะจงถึงชิป Grace Blackwell 300 และเซิร์ฟเวอร์ที่ติดตั้ง GB300 แม้ว่าชิปเหล่านี้จะถูกสั่งห้ามส่งออกไปยังจีน แต่ผู้เชี่ยวชาญอย่าง Sam Bresnick จาก Georgetown ชี้ว่าตลาดมืดและห่วงโซ่อุปทานโลกที่ซับซ้อนทำให้การตรวจสอบการไหลเวียนของฮาร์ดแวร์เหล่านี้เป็นไปได้ยากอย่างยิ่ง
อย่างไรก็ตาม นักวิจัยจำนวนมากแย้งว่าการมุ่งเน้นไปที่เรื่องการทำ distillation นั้นเป็นการลดทอนความน่าเชื่อถือทางเทคนิคของทีม AI จีน ด้วยการที่ผู้ก่อตั้งมาจากสถาบันชั้นนำอย่าง Carnegie Mellon University ผู้เชี่ยวชาญจึงมองว่า Moonshot มีความสามารถในการทำวิจัยต้นฉบับ (original research) มากกว่าที่จะเป็นเพียงการ "เกาะกระแส" (riding coattails)
นัยสำคัญต่อการแข่งขันด้าน AI ระดับโลก
ข้อพิพาทนี้ตอกย้ำถึงช่องว่างที่กว้างขึ้นระหว่างวาทกรรมทางการเมืองและความเป็นจริงทางเทคนิค ในขณะที่อุตสาหกรรมกำลังมุ่งหน้าไปสู่การทำ reinforcement learning ที่ซับซ้อนและต้องการพลังการประมวลผลมหาศาล การถกเถียงว่าบริษัทต่างๆ กำลัง "ขโมย" สติปัญญา หรือเพียงแค่ก้าวหน้าด้วยวิศวกรรมที่เหนือกว่า จะยังคงเป็นปัจจัยสำคัญในการกำหนดนโยบายการค้าระหว่างประเทศและกฎระเบียบด้าน AI ต่อไป
สรุปประเด็นสำคัญ
- ความสงสัยทางเทคนิค: ผู้เชี่ยวชาญแย้งว่าการเปิดตัว Kimi K3 อย่างรวดเร็วนั้นทำให้ในทางคณิตศาสตร์เป็นไปได้ยากมากที่โมเดลจะถูกสร้างขึ้นจากการทำ distillation ของ Fable จาก Anthropic เพียงอย่างเดียว
- เหนือกว่าการทำ Fine-Tuning: แม้ว่าการทำ distillation ผ่าน supervised fine-tuning จะมีอยู่จริง แต่การบรรลุประสิทธิภาพระดับ frontier มักต้องใช้ reinforcement learning ขั้นสูงที่ไม่สามารถ "คัดลอก" กันได้โดยง่าย
- ความกังวลด้านฮาร์ดแวร์: ข้อกล่าวหาเรื่องการเข้าถึงชิป Nvidia Blackwell ที่ถูกสั่งห้ามอย่างผิดกฎหมาย ได้เพิ่มความซับซ้อนทางภูมิรัฐศาสตร์ให้กับการถกเถียงเรื่องความก้าวหน้าของ AI ในจีน