Subquadratic meldet Durchbruch bei der Lösung des quadratischen LLM-Engpasses

Die KI-Branche spricht über das in Miami ansässige Startup Subquadratic, das behauptet, eine mathematische Einschränkung gelöst zu haben, die Large Language Models (LLMs) seit fast einem Jahrzehnt einschränkt. Während die anfängliche Skepsis groß war, deutet eine jüngste unabhängige Überprüfung darauf hin, dass ihre neue „SubQ“-Architektur das Paradigma der generativen KI grundlegend verschieben könnte.

Das Problem: Die quadratischen Kosten der Dense Attention

Um die Bedeutung der Behauptung von Subquadratic zu verstehen, muss man die von Google im Jahr 2017 eingeführte „Transformer“-Architektur verstehen. Die meisten modernen LLMs verlassen sich auf einen Mechanismus namens Dense Attention. In diesem Prozess wird jedes Token (Wort oder Wortteil) in einer Sequenz mit jedem anderen Token multipliziert, um den Kontext zu erfassen.

Dies erzeugt eine massive Rechenlast, die als quadratische Expansion bekannt ist. Verdoppelt man die Länge eines Textes, vervierfachen sich die Rechenanforderungen in etwa. Bei einem Dokument mit 10.000 Wörtern muss das Modell fast 50 Millionen einzelne Multiplikationen durchführen. Diese Ineffizienz ist der Hauptgrund dafür, dass LLMs als berüchtigte „Stromfresser“ gelten, die enorme Mengen an Energie und teure Hardware benötigen, um lange Kontexte zu verarbeiten.

Die Lösung: Skalierung mit Sparse Attention

Das SubQ-Modell von Subquadratic zielt darauf ab, Dense Attention zugunsten von Sparse Attention aufzugeben. Die Kernphilosophie besteht darin, dass nicht jede Beziehung zwischen Wörtern entscheidend für das Verständnis eines Dokuments ist. Anstatt jedes Token mit jedem anderen Token zu multiplizieren, wählt Sparse Attention nur die relevantesten Beziehungen für die Berechnung aus.

Obwohl „Sparse Attention“ kein neues Konzept ist, hatten frühere Versuche Schwierigkeiten, das hohe Maß an logischem Denken und Nuancierung beizubehalten, das in Dense-Attention-Modellen zu finden ist. Subquadratic behauptet, diese Lücke geschlossen zu haben, indem ein Modell geschaffen wurde, das die Effizienz von Sparse Attention bietet, ohne den traditionellen Verlust an Intelligenz.

Validierung der Behauptungen: Ergebnisse von Appen

Nach anfänglicher Skepsis – wobei einige Kritiker die unbestätigten Behauptungen sogar mit „KI-Theranos“ verglichen – hat Subquadratic Benchmarks eines Drittanbieters von Appen veröffentlicht, einem führenden Unternehmen für KI-Evaluierung. Die Ergebnisse der unabhängigen Tests von Appen haben die SubQ-Architektur validiert und die Ergebnisse als „schockierend“ und als potenziellen „Game Changer“ bezeichnet.

According to the startup, SubQ offers several transformative technical advantages:

  • Context Window: SubQ can process up to 12 times more text at once compared to most current models, making it ideal for analyzing entire codebases or massive document libraries.
  • Performance: Despite the leaner architecture, SubQ matches the performance of industry leaders like OpenAI, Google DeepMind, and Anthropic on critical tasks such as coding.
  • Efficiency: The model is significantly faster, cheaper, and more energy-efficient than existing transformer-based models.

A New Era Beyond Transformers?

Subquadratic is not just looking to optimize current models; they are looking to replace the foundational architecture of the industry. CEO Justin Dangel has stated that the company believes the era of building on Transformers may be coming to an end. If SubQ can continue to prove its efficacy at scale, the transition from dense to sparse attention could represent the most significant shift in AI architecture since the invention of the Transformer itself.

Key Takeaways

  • Breaking the Quadratic Barrier: SubQ uses sparse attention to avoid the exponential increase in computation required by traditional dense attention.
  • Superior Context Handling: The model can process 12x more data at once, enabling deep analysis of large-scale datasets and long-form code.
  • Verified Efficiency: Independent testing by Appen confirms that SubQ achieves high-tier performance (matching OpenAI and Google) at a fraction of the cost and energy.