Subquadratic อ้างความสำเร็จครั้งสำคัญในการแก้ปัญหาคอขวดแบบ Quadratic ของ LLM

อุตสาหกรรม AI กำลังเป็นที่ฮือฮาเกี่ยวกับ Subquadratic สตาร์ทอัพจากไมอามี ซึ่งอ้างว่าสามารถแก้ข้อจำกัดทางคณิตศาสตร์ที่เป็นอุปสรรคต่อ Large Language Models (LLMs) มาเกือบหนึ่งทศวรรษได้ แม้ว่าในช่วงแรกจะมีความเคลือบแคลงสงสัยอย่างมาก แต่การตรวจสอบที่เป็นอิสระเมื่อเร็วๆ นี้บ่งชี้ว่าสถาปัตยกรรม "SubQ" ใหม่ของพวกเขาสามารถเปลี่ยนกระบวนทัศน์ของ Generative AI ได้อย่างสิ้นเชิง

ปัญหา: ต้นทุนแบบ Quadratic ของ Dense Attention

เพื่อที่จะเข้าใจความสำคัญของสิ่งที่ Subquadratic กล่าวอ้าง เราจำเป็นต้องเข้าใจสถาปัตยกรรม "Transformer" ที่ Google เปิดตัวในปี 2017 ก่อน โดย LLM สมัยใหม่ส่วนใหญ่พึ่งพากลไกที่เรียกว่า dense attention ในกระบวนการนี้ ทุกๆ token (คำหรือส่วนหนึ่งของคำ) ในลำดับจะถูกนำไปคูณกับ token อื่นๆ ทั้งหมดเพื่อจับบริบท

สิ่งนี้สร้างภาระในการคำนวณมหาศาลที่เรียกว่า quadratic expansion หากคุณเพิ่มความยาวของข้อความขึ้นเป็นสองเท่า ความต้องการในการคำนวณจะเพิ่มขึ้นประมาณสี่เท่า สำหรับเอกสารที่มีความยาว 10,000 คำ โมเดลจะต้องทำการคูณแยกกันเกือบ 50 ล้านครั้ง ความไม่มีประสิทธิภาพนี้เป็นสาเหตุหลักที่ทำให้ LLM ขึ้นชื่อเรื่องการเป็น "ตัวกินไฟ" (power hogs) เนื่องจากต้องใช้พลังงานมหาศาลและฮาร์ดแวร์ราคาแพงในการประมวลผลบริบทที่ยาว

ทางออก: การขยายขนาดด้วย Sparse Attention

โมเดล SubQ ของ Subquadratic มีเป้าหมายที่จะเปลี่ยนจาก dense attention มาใช้ sparse attention แทน ปรัชญาหลักคือไม่ใช่ทุกความสัมพันธ์ระหว่างคำที่จะมีความสำคัญต่อการทำความเข้าใจเอกสาร แทนที่จะนำทุก token ไปคูณกับทุก token อื่นๆ sparse attention จะเลือกเฉพาะความสัมพันธ์ที่เกี่ยวข้องที่สุดมาคำนวณเท่านั้น

แม้ว่า "sparse attention" จะไม่ใช่แนวคิดใหม่ แต่ความพยายามก่อนหน้านี้มักประสบปัญหาในการรักษาความสามารถในการใช้เหตุผลและความละเอียดอ่อนในระดับสูงเหมือนที่พบในโมเดลแบบ dense-attention แต่ Subquadratic อ้างว่าพวกเขาสามารถปิดช่องว่างนี้ได้ โดยการสร้างโมเดลที่ให้ประสิทธิภาพของ sparse attention โดยไม่สูญเสียความฉลาดเหมือนที่เคยเป็นมา

การตรวจสอบความถูกต้องของข้อกล่าวอ้าง: ผลลัพธ์จาก Appen

หลังจากความเคลือบแคลงสงสัยในช่วงแรก โดยมีนักวิจารณ์บางคนถึงขั้นเปรียบเทียบข้อกล่าวอ้างที่ยังไม่ได้รับการยืนยันนี้กับ "AI Theranos" ล่าสุด Subquadratic ได้เปิดเผยผลการทดสอบมาตรฐาน (benchmarks) จากบุคคลที่สามโดย Appen ซึ่งเป็นบริษัทประเมินผล AI ชั้นนำ ผลการทดสอบที่เป็นอิสระของ Appen ได้ยืนยันความถูกต้องของสถาปัตยกรรม SubQ โดยระบุว่าสิ่งที่ค้นพบนั้น "น่าตกใจ" และอาจเป็น "ตัวเปลี่ยนเกม" (game changer) ของวงการ

According to the startup, SubQ offers several transformative technical advantages:

  • Context Window: SubQ can process up to 12 times more text at once compared to most current models, making it ideal for analyzing entire codebases or massive document libraries.
  • Performance: Despite the leaner architecture, SubQ matches the performance of industry leaders like OpenAI, Google DeepMind, and Anthropic on critical tasks such as coding.
  • Efficiency: The model is significantly faster, cheaper, and more energy-efficient than existing transformer-based models.

A New Era Beyond Transformers?

Subquadratic is not just looking to optimize current models; they are looking to replace the foundational architecture of the industry. CEO Justin Dangel has stated that the company believes the era of building on Transformers may be coming to an end. If SubQ can continue to prove its efficacy at scale, the transition from dense to sparse attention could represent the most significant shift in AI architecture since the invention of the Transformer itself.

Key Takeaways

  • Breaking the Quadratic Barrier: SubQ uses sparse attention to avoid the exponential increase in computation required by traditional dense attention.
  • Superior Context Handling: The model can process 12x more data at once, enabling deep analysis of large-scale datasets and long-form code.
  • Verified Efficiency: Independent testing by Appen confirms that SubQ achieves high-tier performance (matching OpenAI and Google) at a fraction of the cost and energy.