ہیمیلٹن-جیکوبی تھیوری نیورل آرکیٹیکچرز کو آپس میں جوڑتی ہے

نیورل نیٹ ورکس اکثر الگ الگ تکنیکوں کا مجموعہ محسوس ہوتے ہیں۔

ResNets skip connections کا استعمال کرتے ہیں۔ Transformers attention کا استعمال کرتے ہیں۔ RNNs recurrence کا استعمال کرتے ہیں۔ ہر ماڈل کے اپنے قواعد اور ریاضی ہوتے ہیں۔ اس وجہ سے مکمل تصویر کو دیکھنا مشکل ہو جاتا ہے۔

نئی تحقیق اس صورتحال کو بدل دیتی ہے۔ یہ ظاہر کرتی ہے کہ ResNets، Transformers، اور RNNs درحقیقت ایک ہی ریاضیاتی شے (mathematical object) ہیں۔ یہ سب Hamilton-Jacobi مساواتوں (equations) کی پیروی کرتے ہیں۔

یہ اس طرح کام کرتا ہے:

  • Gradient descent طبیعیات کے ارتقاء (physics evolution) کی ایک قسم ہے۔
  • تربیت کا ہر مرحلہ weights کو ایک مائع (fluid) کی طرح حرکت دیتا ہے۔
  • Depth، attention، اور recurrence ایک حساب کتاب میں وقت کے مراحل (time steps) کی طرح کام کرتے ہیں۔
  • ایک واحد پیرامیٹر اس بات کو کنٹرول کرتا ہے کہ ماڈل کتنا ہموار (smooth) یا sparse ہو جاتا ہے۔

یہ تھیوری چار مختلف شعبوں کو جوڑتی ہے: neural networks، tropical algebra، PDEs، اور convex optimization۔

یہ آپ کے لیے کیوں اہم ہے؟

موجودہ benchmarks زیادہ تر درستگی (accuracy) پر توجہ مرکوز کرتے ہیں۔ یہ فریم ورک ماڈلز بنانے کا ایک نیا طریقہ تجویز کرتا ہے۔ صرف تہیں (layers) شامل کرنے کے بجائے، آپ ہمواری (smoothness) اور استحکام (stability) کے درمیان توازن برقرار رکھنے کے لیے ریاضی کو ٹیون کر سکتے ہیں۔

یہ تھیوری یہ بھی پیش گوئی کرتی ہے کہ ایک ماڈل کتنی اچھی طرح سے جنرلائز (generalize) کرے گا۔ یہ اس بات کو آپ کی آرکیٹیکچر میں استعمال ہونے والی مخصوص ریاضی سے جوڑتا ہے کہ آپ کو کتنے ڈیٹا کی ضرورت ہے۔

ابھی بھی کچھ خامیاں موجود ہیں۔ زیادہ تر ماڈلز ReLU استعمال کرتے ہیں، لیکن یہ ریاضی log-sum-exp layers کے ساتھ بہترین کام کرتی ہے۔ ہمیں یہ دیکھنے کے لیے مزید حقیقی دنیا کے تجربات کی بھی ضرورت ہے کہ آیا یہ طبیعیاتی اصول کارکردگی کو بہتر بناتے ہیں۔

ہمیں آرکیٹیکچرز کو مختلف قسم کی تہوں (layers) کے طور پر دیکھنا بند کر دینا چاہیے۔ ہمیں انہیں ایک ہی مساوات کو حل کرنے کے مختلف طریقوں کے طور پر دیکھنا چاہیے۔

Source: https://dev.to/olaughter/hamilton-jacobi-view-links-major-neural-architectures-5hln

Optional learning community: https://t.me/GyaanSetuAi