𝗛𝗮𝗺𝗶𝗹𝘁𝗼𝗻-𝗝𝗮𝗰𝗼𝗯𝗶 सिद्धांत न्यूरल आर्किटेक्चरला (Neural Architectures) जोडतो

न्यूरल नेटवर्क्स अनेकदा वेगवेगळ्या युक्त्यांचा संच असल्यासारखे वाटतात.

ResNets मध्ये skip connections वापरले जातात. Transformers मध्ये attention वापरले जाते. RNNs मध्ये recurrence वापरले जाते. प्रत्येक मॉडेलचे स्वतःचे नियम आणि गणित असते. यामुळे संपूर्ण चित्र समजून घेणे कठीण होते.

नवीन संशोधन हे बदलत आहे. ते दर्शवते की ResNets, Transformers आणि RNNs हे प्रत्यक्षात एकच गणितीय घटक (mathematical object) आहेत. ते सर्व Hamilton-Jacobi समीकरणांचे पालन करतात.

हे कसे कार्य करते ते येथे दिले आहे:

  • Gradient descent हा भौतिकशास्त्रातील उत्क्रांतीचा (physics evolution) एक प्रकार आहे.
  • प्रशिक्षणातील (training) प्रत्येक टप्पा weights ला द्रवाप्रमाणे (fluid) हलवतो.
  • Depth, attention आणि recurrence हे गणनेतील (calculation) वेळेच्या टप्प्यांसारखे (time steps) कार्य करतात.
  • एकच पॅरामीटर मॉडेल किती स्मूथ (smooth) किंवा स्पार्स (sparse) होईल हे नियंत्रित करतो.

हा सिद्धांत चार वेगवेगळ्या क्षेत्रांना जोडतो: न्यूरल नेटवर्क्स, tropical algebra, PDEs आणि convex optimization.

हे तुमच्यासाठी का महत्त्वाचे आहे?

सध्याचे बेंचमार्क्स प्रामुख्याने अचूकतेवर (accuracy) लक्ष केंद्रित करतात. हे फ्रेमवर्क मॉडेल्स तयार करण्याची एक नवीन पद्धत सुचवते. फक्त लेयर्स (layers) जोडण्याऐवजी, तुम्ही स्मूथनेस (smoothness) आणि स्थिरता (stability) यांचा समतोल राखण्यासाठी गणिती प्रक्रिया सुधारू शकता.

हा सिद्धांत मॉडेल किती चांगल्या प्रकारे सामान्यीकरण (generalize) करेल, याचेही भाकीत करतो. हे तुमच्या आर्किटेक्चरमध्ये वापरल्या जाणाऱ्या विशिष्ट गणिताचा तुमच्या डेटाच्या गरजेशी संबंध जोडते.

अजूनही काही त्रुटी आहेत. बहुतेक मॉडेल्स ReLU वापरतात, परंतु हे गणित log-sum-exp लेयर्ससोबत सर्वोत्तम काम करते. हे भौतिकशास्त्राचे नियम कामगिरी सुधारतात का, हे पाहण्यासाठी आपल्याला अधिक वास्तववादी चाचण्यांची (real-world tests) आवश्यकता आहे.

आपण आर्किटेक्चरकडे केवळ वेगवेगळ्या प्रकारच्या लेयर्स म्हणून पाहणे थांबवले पाहिजे. त्याऐवजी, आपण त्यांना एकच समीकरण सोडवण्याच्या वेगवेगळ्या पद्धती म्हणून पाहिले पाहिजे.

Source: https://dev.to/olaughter/hamilton-jacobi-view-links-major-neural-architectures-5hln

Optional learning community: https://t.me/GyaanSetuAi