Subquadratic claimt doorbraak in het oplossen van de kwadratische bottleneck van LLM's

De AI-industrie is in rep en roer over de in Miami gevestigde startup Subquadratic, die beweert een wiskundige beperking te hebben opgelost die Large Language Models (LLM's) al bijna een decennium in de weg staat. Hoewel de aanvankelijke scepsis groot was, suggereert recente onafhankelijke verificatie dat hun nieuwe "SubQ"-architectuur het paradigma van generatieve AI fundamenteel zou kunnen veranderen.

Het probleem: De kwadratische kosten van dense attention

Om de betekenis van de claim van Subquadratic te begrijpen, moet men de "Transformer"-architectuur begrijpen die in 2017 door Google werd geïntroduceerd. De meeste moderne LLM's vertrouwen op een mechanisme genaamd dense attention. In dit proces wordt elk token (woord of deel van een woord) in een reeks vermenigvuldigd met elk ander token om de context vast te leggen.

Dit creëert een enorme computationele last, bekend als kwadratische expansie. Als je de lengte van een tekst verdubbelt, verviervoudigen de computationele vereisten ruwweg. Voor een document van 10.000 woorden moet het model bijna 50 miljoen individuele vermenigvuldigingen uitvoeren. Deze inefficiëntie is de belangrijkste reden waarom LLM's berucht zijn als "stroomvreters", omdat ze enorme hoeveelheden energie en dure hardware vereisen om lange contexten te verwerken.

De oplossing: Schalen met sparse attention

Het SubQ-model van Subquadratic heeft als doel dense attention te laten varen ten gunste van sparse attention. De kernfilosofie is dat niet elke relatie tussen woorden cruciaal is voor het begrijpen van een document. In plaats van elk token met elk ander token te vermenigvuldigen, selecteert sparse attention alleen de meest relevante relaties om te berekenen.

Hoewel "sparse attention" geen nieuw concept is, hebben eerdere pogingen moeite gehad om het hoge niveau van redeneren en nuance te behouden dat in dense-attention-modellen te vinden is. Subquadratic beweert dit gat te hebben overbrugd door een model te creëren dat de efficiëntie van sparse attention biedt zonder het traditionele verlies aan intelligentie.

De claims valideren: Resultaten van Appen

Na de aanvankelijke scepsis — waarbij sommige critici de niet-geverifieerde claims zelfs vergeleken met "AI Theranos" — heeft Subquadratic benchmarks van derden gepubliceerd van Appen, een toonaangevend AI-evaluatiebedrijf. De resultaten van de onafhankelijke tests van Appen hebben de SubQ-architectuur gevalideerd en de bevindingen omschreven als "schokkend" en een potentiële "game changer".

Volgens de startup biedt SubQ verschillende transformatieve technische voordelen:

• Context Window: SubQ kan tot wel 12 keer meer tekst tegelijk verwerken in vergelijking met de meeste huidige modellen, waardoor het ideaal is voor het analyseren van volledige codebases of enorme documentbibliotheken.
• Prestaties: Ondanks de slankere architectuur evenaart SubQ de prestaties van marktleiders zoals OpenAI, Google DeepMind en Anthropic bij kritieke taken zoals programmeren.
• Efficiëntie: Het model is aanzienlijk sneller, goedkoper en energiezuiniger dan bestaande transformer-gebaseerde modellen.

Een nieuw tijdperk voorbij Transformers?

Subquadratic wil niet alleen de huidige modellen optimaliseren; ze streven ernaar de fundamentele architectuur van de sector te vervangen. CEO Justin Dangel heeft verklaard dat het bedrijf gelooft dat het tijdperk van bouwen op Transformers ten einde loopt. Als SubQ zijn effectiviteit op schaal kan blijven bewijzen, zou de overgang van dense naar sparse attention de meest significante verschuiving in AI-architectuur kunnen betekenen sinds de uitvinding van de Transformer zelf.

Kernpunten

• Het doorbreken van de kwadratische barrière: SubQ maakt gebruik van sparse attention om de exponentiële toename in rekenkracht te vermijden die vereist is door traditionele dense attention.
• Superieure contextverwerking: Het model kan 12x meer gegevens tegelijk verwerken, wat diepgaande analyse van grootschalige datasets en uitgebreide code mogelijk maakt.
• Geverifieerde efficiëntie: Onafhankelijke tests door Appen bevestigen dat SubQ prestaties van topniveau behaalt (gelijk aan OpenAI en Google) tegen een fractie van de kosten en het energieverbruik.