Subquadratic Claims Breakthrough in Solving the LLM Quadratic Bottleneck

The AI industry is buzzing over Miami-based startup Subquadratic, which claims to have solved a mathematical limitation that has constrained Large Language Models (LLMs) for nearly a decade. While initial skepticism was high, recent independent verification suggests their new "SubQ" architecture could fundamentally shift the paradigm of generative AI.

The Problem: The Quadratic Cost of Dense Attention

To understand the significance of Subquadratic’s claim, one must understand the "Transformer" architecture introduced by Google in 2017. Most modern LLMs rely on a mechanism called dense attention. In this process, every token (word or part of a word) in a sequence is multiplied by every other token to capture context.

This creates a massive computational burden known as quadratic expansion. If you double the length of a text, the computational requirements roughly quadruple. For a 10,000-word document, the model must perform nearly 50 million individual multiplications. This inefficiency is the primary reason why LLMs are notorious "power hogs," requiring immense energy and expensive hardware to process long contexts.

The Solution: Scaling with Sparse Attention

Subquadratic’s SubQ model aims to ditch dense attention in favor of sparse attention. The core philosophy is that not every relationship between words is critical to understanding a document. Instead of multiplying every token by every other token, sparse attention selects only the most relevant relationships to compute.

While "sparse attention" is not a new concept, previous attempts have struggled to maintain the high level of reasoning and nuance found in dense-attention models. Subquadratic claims to have bridged this gap, creating a model that provides the efficiency of sparse attention without the traditional loss in intelligence.

Validating the Claims: Results from Appen

Following early skepticism—with some critics even comparing the unverified claims to "AI Theranos"—Subquadratic has released third-party benchmarks from Appen, a leading AI evaluation firm. The results from Appen’s independent testing have validated the SubQ architecture, describing the findings as "shocking" and a potential "game changer."

طبق گفته این استارتاپ، SubQ چندین مزیت فنی تحول‌آفرین را ارائه می‌دهد:

  • Context Window: SubQ می‌تواند در مقایسه با اکثر مدل‌های فعلی، تا ۱۲ برابر متن بیشتری را به‌طور هم‌زمان پردازش کند که آن را برای تحلیل کل پایگاه‌های کد یا کتابخانه‌های عظیم اسناد ایده‌آل می‌سازد.
  • Performance: علی‌رغم معماری سبک‌تر، SubQ در وظایف حیاتی مانند کدنویسی، با عملکرد پیشروان صنعت مانند OpenAI، Google DeepMind و Anthropic برابری می‌کند.
  • Efficiency: این مدل به‌طور قابل‌توجهی سریع‌تر، ارزان‌تر و از نظر مصرف انرژی بهینه‌تر از مدل‌های مبتنی بر Transformer موجود است.

عصری جدید فراتر از Transformers؟

Subquadratic تنها به دنبال بهینه‌سازی مدل‌های فعلی نیست؛ آن‌ها به دنبال جایگزینی معماری بنیادین این صنعت هستند. جاستین دانگل، مدیرعامل شرکت، اظهار داشته است که این شرکت معتقد است دوران ساخت مدل‌ها بر پایه Transformers ممکن است رو به پایان باشد. اگر SubQ بتواند اثربخشی خود را در مقیاس بزرگ ثابت کند، گذار از توجه متراکم (dense attention) به توجه پراکنده (sparse attention) می‌تواند بزرگ‌ترین تغییر در معماری هوش مصنوعی از زمان اختراع خودِ Transformer باشد.

نکات کلیدی

  • Breaking the Quadratic Barrier: SubQ از توجه پراکنده (sparse attention) استفاده می‌کند تا از افزایش نمایی محاسبات که در توجه متراکم (dense attention) سنتی مورد نیاز است، جلوگیری کند.
  • Superior Context Handling: این مدل می‌تواند ۱۲ برابر داده‌ی بیشتری را به‌طور هم‌زمان پردازش کند که تحلیل عمیق مجموعه‌داده‌های بزرگ‌مقیاس و کدهای طولانی را امکان‌پذیر می‌سازد.
  • Verified Efficiency: آزمایش‌های مستقل توسط Appen تأیید می‌کند که SubQ به عملکردی در سطح بالا (برابر با OpenAI و Google) با کسری از هزینه و انرژی دست می‌یابد.