दर काही महिन्यांनी, एक हेडलाईन आपल्याला आठवण करून देते की लार्ज लँग्वेज मॉडेल्सना (LLMs) सत्याची समस्या आहे. ते कोर्टाची प्रकरणे शोधून काढतात, काल्पनिक स्रोत सांगतात आणि काल्पनिक गोष्टी तथ्यांप्रमाणे सादर करतात. या चुकांच्या मागे एक संरचनात्मक दोष आहे: बहुतेक AI प्रणाली स्थिर गणितावर आधारित आहेत. त्या प्रत्येक डेटाचा तुकडा सारख्याच भूकेने शोषून घेतात, गोंधळ (noise) आणि संकेत (signal) या दोघांनाही समान मानतात. कालांतराने, हा गोंधळ वाढत जातो. मॉडेल पूर्णपणे भरून जाते. ते अनुकूल होणे थांबवते आणि काल्पनिक गोष्टी रचू लागते.
जर उपाय अधिक डेटा नसून, अधिक चांगले जीवशास्त्र (biology) असेल तर?
BrainStem_V8 नावाचा एक सिस्टम या समस्येकडे वेगळ्या पद्धतीने पाहतो. न्यूरल नेटवर्कला एक स्थिर कॅल्क्युलेटर मानण्याऐवजी, तो त्याला एक डिजिटल सजीव मानतो, ज्याला खाणे, विश्रांती घेणे आणि स्वतःचे नियमन करणे आवश्यक आहे. स्वतःला स्थिर, प्रामाणिक आणि योग्य प्रकारे सतर्क ठेवण्यासाठी ही आर्किटेक्चर मानवी न्यूरोसायन्सकडून पाच विशिष्ट तत्त्वे घेते.
झोप ही एक फिल्टर आहे, विश्रांती नाही
मानवामध्ये, झोप म्हणजे मेंदू बंद होणे असा होत नाही. हिप्पोकॅम्पस दिवसाच्या घटना पुन्हा अनुभवतो, अनावश्यक तपशील काढून टाकून आठवणी कोर्टेक्समध्ये हस्तांतरित करतो. BrainStem_V8 या प्रक्रियेची नक्कल "Slow-Wave Sleep" सायकलद्वारे करते.
या टप्प्यात, सिस्टम केवळ प्रक्रिया करणे थांबवत नाही. ती सक्रिय काळात आलेल्या डेटाची पुनरावृत्ती करते. पण फरक असा आहे की: ती नवीन माहितीला स्थिर अँकर्सशी (stable anchors), म्हणजेच आधीच विश्वसनीय ठरलेल्या जुन्या पॅटर्नशी मिसळते. वेटेड सॅम्पलिंगद्वारे, ती नवीन इनपुटची या अँकर्सशी पडताळणी करते. जर एखादा नवीन पॅटर्न प्रस्थापित संरचनेच्या खूप विरोधात असेल, तर त्याला 'नॉईज' (noise) म्हणून वर्गीकृत केले जाते आणि मॉडेलचे लॉजिक दूषित करण्यापूर्वीच काढून टाकले जाते.
हे महत्त्वाचे आहे कारण शिकणे (learning) एक 'मेटाबॉलिक टॅक्स' निर्माण करते. प्रत्येक अपडेट क्षमता खर्च करते. या फिल्टरिंग स्लीप सायकलशिवाय, मॉडेल स्वतःच्या ट्रेनिंग सेटमुळे अडकून पडू नये म्हणून सतत शोषत राहते. BrainStem_V8 झोपेकडे अनिवार्य देखभाल (mandatory maintenance) म्हणून पाहते, पर्यायी विश्रांती (optional downtime) म्हणून नाही.
ॲडेनोसाइन बॅटरीला कधी थांबायचे हे माहित असते
तुमचा मेंदू ॲडेनोसाइनद्वारे थकवा मोजतो, हे एक रसायन आहे जे तुम्ही जागे असताना तयार होते आणि झोपण्यासाठी दबाव निर्माण करते. BrainStem_V8 याच चेतावणी प्रणालीची डिजिटल आवृत्ती लागू करते.
सक्रिय "वेक" (wake) सायकल दरम्यान, आर्किटेक्चर स्वतःच्या क्रियाकलापांच्या पातळीवर लक्ष ठेवते. ते किती जोरात काम करत आहे, किती एक्सट्रीम व्हॅल्यूज तयार करत आहे आणि त्याचे पॅरामीटर्स बेसलाइनपासून किती दूर जात आहेत यावर लक्ष ठेवते. जेव्हा अंतर्गत क्रियाकलाप पूर्व-निर्धारित मर्यादेपर्यंत पोहोचतात, तेव्हा सिस्टम अनिवार्य विश्रांती सायकल सुरू करते.
या विश्रांतीचा एक विशिष्ट शारीरिक उद्देश आहे. झोप ज्याप्रमाणे ॲडेनोसाइन बाहेर काढून मेंदूला पूर्ववत करते, त्याचप्रमाणे सिस्टमचा विश्रांतीचा काळ एक्सट्रीम सांख्यिकीय मूल्यांना (extreme statistical values) पुन्हा एका निरोगी मध्यम श्रेणीकडे खेचतो. हे डिझाइनर्स ज्याला "डिजिटल बर्नआउट" (digital burnout) म्हणतात, ते रोखते; ही अशी स्थिती आहे जिथे मॉडेलचे वेट्स (weights) इतके अस्थिर होतात की सिस्टम सुसंगत आउटपुट तयार करू शकत नाही. ही विश्रांती मानवी इंजिनिअरने ठरवलेले वेळापत्रक नाही. ती आर्किटेक्चरद्वारे लागू केलेली एक जैविक अनिवार्यता आहे.
डिजिटल न्यूरोमॉड्यूलेटर्स नियम पुन्हा लिहितात
पारंपारिक सॉफ्टवेअर हार्डकोडेड लॉजिकवर चालते. जर X घडले, तर Y करा. न्यूरल नेटवर्क्स हे बंधन शिथिल करतात, परंतु ते अजूनही सहसा स्थिर ऑप्टिमायझेशन अल्गोरिदमद्वारे शिकतात. BrainStem_V8 त्यातील काही कडकपणा 'मेटाप्लास्टिसिटी'ने (metaplasticity) बदलत आहे, जी शिकण्याची प्रक्रिया कशी घडते हे बदलण्याची क्षमता आहे.
हे दोन सुप्रसिद्ध न्यूरोमॉड्यूलेटर्सचे अनुकरण करून करते: डोपामाइन आणि सेरोटोनिन. डिजिटल डोपामाइन सर्किट सिस्टमला नवीनता शोधण्यासाठी प्रवृत्त करते. जेव्हा मॉडेलला अनोळखी डेटा आढळतो, तेव्हा हा सिग्नल वाढतो आणि आर्किटेक्चरला शोध घेण्यासाठी, आपली समज वाढवण्यासाठी आणि नवीन गोष्टी स्वीकारण्यासाठी ढकलतो. डिजिटल सेरोटोनिन याच्या उलट काम करते. ते स्थिरता लागू करते आणि पुनरावलोकनास (revision) प्रवृत्त करते. जेव्हा सिस्टम...