Subquadratic Mengklaim Terobosan dalam Mengatasi Bottleneck Kuadratik LLM

Industri AI sedang ramai membicarakan startup asal Miami, Subquadratic, yang mengklaim telah memecahkan batasan matematis yang telah membatasi Large Language Models (LLM) selama hampir satu dekade. Meskipun skeptisisme awal cukup tinggi, verifikasi independen baru-baru ini menunjukkan bahwa arsitektur "SubQ" baru mereka dapat mengubah paradigma AI generatif secara fundamental.

Masalahnya: Biaya Kuadratik dari Dense Attention

Untuk memahami signifikansi klaim Subquadratic, seseorang harus memahami arsitektur "Transformer" yang diperkenalkan oleh Google pada tahun 2017. Sebagian besar LLM modern mengandalkan mekanisme yang disebut dense attention. Dalam proses ini, setiap token (kata atau bagian dari kata) dalam sebuah urutan dikalikan dengan setiap token lainnya untuk menangkap konteks.

Hal ini menciptakan beban komputasi masif yang dikenal sebagai ekspansi kuadratik. Jika Anda menggandakan panjang teks, persyaratan komputasi akan meningkat sekitar empat kali lipat. Untuk dokumen berisi 10.000 kata, model tersebut harus melakukan hampir 50 juta perkalian individual. Inefisiensi inilah alasan utama mengapa LLM dikenal sebagai "pemboros daya" (power hogs), yang membutuhkan energi sangat besar dan perangkat keras mahal untuk memproses konteks yang panjang.

Solusinya: Skalabilitas dengan Sparse Attention

Model SubQ milik Subquadratic bertujuan untuk meninggalkan dense attention demi sparse attention. Filosofi intinya adalah bahwa tidak setiap hubungan antar kata bersifat kritis untuk memahami sebuah dokumen. Alih-alih mengalikan setiap token dengan setiap token lainnya, sparse attention hanya memilih hubungan yang paling relevan untuk dihitung.

Meskipun "sparse attention" bukanlah konsep baru, upaya-upaya sebelumnya kesulitan dalam mempertahankan tingkat penalaran dan nuansa tinggi yang ditemukan pada model dense-attention. Subquadratic mengklaim telah menjembatani celah ini, menciptakan model yang memberikan efisiensi sparse attention tanpa kehilangan kecerdasan seperti yang terjadi secara tradisional.

Memvalidasi Klaim: Hasil dari Appen

Menyusul skeptisisme awal—dengan beberapa kritikus bahkan membandingkan klaim yang belum terverifikasi tersebut dengan "AI Theranos"—Subquadratic telah merilis tolok ukur (benchmark) pihak ketiga dari Appen, sebuah perusahaan evaluasi AI terkemuka. Hasil pengujian independen dari Appen telah memvalidasi arsitektur SubQ, dan menggambarkan temuan tersebut sebagai sesuatu yang "mengejutkan" dan berpotensi menjadi "game changer".

Menurut startup tersebut, SubQ menawarkan beberapa keunggulan teknis yang transformatif:

• Context Window: SubQ dapat memproses hingga 12 kali lebih banyak teks sekaligus dibandingkan dengan sebagian besar model saat ini, menjadikannya ideal untuk menganalisis seluruh basis kode atau perpustakaan dokumen yang masif.
• Performa: Meskipun memiliki arsitektur yang lebih ramping, SubQ mampu menandingi performa para pemimpin industri seperti OpenAI, Google DeepMind, dan Anthropic pada tugas-tugas kritis seperti pemrograman.
• Efisiensi: Model ini jauh lebih cepat, lebih murah, dan lebih hemat energi dibandingkan model berbasis transformer yang ada saat ini.

Era Baru Melampaui Transformer?

Subquadratic tidak hanya berupaya mengoptimalkan model saat ini; mereka berupaya menggantikan arsitektur dasar industri ini. CEO Justin Dangel telah menyatakan bahwa perusahaan percaya era pembangunan di atas Transformer mungkin akan segera berakhir. Jika SubQ dapat terus membuktikan kemanjurannya dalam skala besar, transisi dari dense attention ke sparse attention dapat mewakili pergeseran paling signifikan dalam arsitektur AI sejak penemuan Transformer itu sendiri.

Poin-Poin Penting

• Menembus Batas Kuadratik: SubQ menggunakan sparse attention untuk menghindari peningkatan komputasi eksponensial yang diperlukan oleh dense attention tradisional.
• Penanganan Konteks yang Unggul: Model ini dapat memproses data 12x lebih banyak sekaligus, memungkinkan analisis mendalam terhadap kumpulan data skala besar dan kode yang panjang.
• Efisiensi yang Terverifikasi: Pengujian independen oleh Appen mengonfirmasi bahwa SubQ mencapai performa tingkat tinggi (menandingi OpenAI dan Google) dengan biaya dan energi yang jauh lebih rendah.