LongStraw نے اعلان کیا ہے کہ اس کی branch-replay تکنیک صرف آٹھ H20 GPUs کا استعمال کرتے ہوئے reinforcement-learning (RL) post-training کے لیے 2.1 ملین ٹوکن پوزیشنز کو پروسیس کر سکتی ہے، جس سے ہارڈ ویئر کے اخراجات میں کئی گنا کمی آتی ہے۔ یہ دعویٰ اس لیے اہم ہے کیونکہ روایتی طور پر long-context ماڈلز کی ٹریننگ کے لیے درجنوں ہائی اینڈ GPUs کی ضرورت ہوتی ہے، جو کہ زیادہ تر ریسرچ لیبز اور اسٹارٹ اپس کے لیے ایک رکاوٹ ہے۔

long-context RL مہنگا کیوں ہے

Large language models کی RL-based fine-tuning میں عام طور پر ایسے rollouts چلائے جاتے ہیں جو ایک ہی prompt کے لیے کئی متبادل تکمیل (completions) تیار کرتے ہیں۔ ہر rollout کو back-propagate کرنا ضروری ہوتا ہے، اس لیے کمپیوٹ کا خرچہ پروسیس شدہ ٹوکن پوزیشنز کی کل تعداد کے ساتھ بڑھتا جاتا ہے۔ موجودہ پائپ لائنز جن کا مقصد ملین-ٹوکن context فراہم کرنا ہے، انہیں ایک مناسب وقت میں مکمل کرنے کے لیے اکثر 64 سے 128 GPUs کی ضرورت ہوتی ہے۔ اس ہارڈ ویئر کی قیمت، اس کے ساتھ بجلی اور کولنگ کے اخراجات، ماہرین کے لیے context length کو بڑھانے کی صلاحیت کو محدود کرتے ہیں۔

branch replay ورک لوڈ کو کیسے کم کرتا ہے

LongStraw کا طریقہ کار transformer generation کے بارے میں دو مشاہدات پر مبنی ہے:

  • تمام rollouts میں prompt اور جواب کا ابتدائی حصہ یکساں ہوتا ہے۔
  • صرف ہر جواب کے مختلف (divergent) آخری حصے کو ہی اصل میں نئی کمپیوٹیشن کی ضرورت ہوتی ہے۔

یہ سسٹم ایک architecture-aware execution stack بناتا ہے جو shared prefix کے لیے activations کو ریکارڈ کرتا ہے۔ جب ایک نئی branch کا جائزہ لیا جاتا ہے، تو یہ اسے دوبارہ کمپیوٹ کرنے کے بجائے cached prefix کو ری پلے کرتا ہے، اور پھر صرف نئے حصے (novel segment) پر backward pass چلاتا ہے۔ عملی طور پر اس کا مطلب یہ ہے کہ backward pass بہت کم ٹوکن پوزیشنز کو چھوتا ہے، جس سے خام کمپیوٹ (raw compute) میں 8 سے 16 گنا تک کمی آتی ہے۔

فوری اثرات

  • آٹھ H20 GPUs پر 2.1 ملین ٹوکن پوزیشنز پروسیس کی گئیں، یہ ایک ایسا ہارڈ ویئر بجٹ ہے جو عام طور پر اس ورک لوڈ کے ایک بہت چھوٹے حصے کو ہی سنبھال سکتا ہے۔
  • long-context RL میں رکاوٹ (bottleneck) کو براہ راست نشانہ بنانا، جہاں context بڑھنے کے ساتھ میموری اور کمپیوٹ کے اخراجات تیزی سے بڑھتے ہیں۔
  • لیبز GPU کی تقسیم (allocation) کو تبدیل کر سکتی ہیں: وہی ہارڈ ویئر، جو بنیادی طور پر ایک inference accelerator ہے، اب ٹریننگ کے لیے استعمال کیا جا سکتا ہے، اگرچہ دوسرے کارڈز پر نتائج مختلف ہو سکتے ہیں۔

کھلے سوالات اور حدود

اس اعلان میں ٹریننگ کی رفتار کے اعداد و شمار اور convergence curves کو شامل نہیں کیا گیا، اس لیے ہمیں یہ معلوم نہیں ہے کہ کمپیوٹ میں ہونے والی یہ کمی اصل وقت (wall-clock time) کو کم کرتی ہے یا صرف GPU occupancy کو کم کرتی ہے۔ یہ طریقہ کار autoregressive sampling کے لیے بیان کیا گیا ہے؛ non-autoregressive یا hybrid حکمت عملیوں کے ساتھ اس کا طرز عمل ابھی تک آزمایا نہیں گیا ہے۔ چونکہ H20 بنیادی طور پر ایک inference accelerator ہے، اس لیے H100 یا B200 جیسے زیادہ عام ٹریننگ کارڈز پر کارکردگی مختلف ہو سکتی ہے۔

آزادانہ بینچ مارکس نے ابھی تک LongStraw کے اعداد و شمار کی تصدیق نہیں کی ہے۔ تھرڈ پارٹی تصدیق کے بغیر، کمیونٹی کو ان نتائج کو امید افزا لیکن عارضی سمجھنا چاہیے۔

کیا داؤ پر ہے

اگر branch-replay کا آئیڈیا دیگر RL fine-tuning الگورتھم جیسے کہ Direct Preference Optimization (DPO) یا Proximal Policy Optimization (PPO) تک پھیل جاتا ہے، تو long-context ماڈلز کے لیے اخراجات کی رکاوٹ ختم ہو سکتی ہے۔

کن چیزوں پر نظر رکھنی چاہیے

  • مختلف GPU architectures پر تھرڈ پارٹی ریپلیکیشن کی کوششیں۔
  • baseline پائپ لائنز کے مقابلے میں ٹریننگ throughput اور حتمی ماڈل کے معیار کے بارے میں LongStraw کی جانب سے اپ ڈیٹس۔