ప్రతి కొన్ని నెలలకు ఒకసారి, లార్జ్ లాంగ్వేజ్ మోడల్స్కు సత్యం విషయంలో సమస్య ఉందని ఒక వార్త మనకు గుర్తుచేస్తుంది. అవి కోర్టు కేసులను సృష్టిస్తాయి, మూలాలను (sources) కల్పితంగా చూపుతాయి మరియు కల్పితాలను వాస్తవాలుగా ప్రదర్శిస్తాయి. ఈ తప్పుల వెనుక ఒక నిర్మాణాత్మక లోపం ఉంది: చాలా AI వ్యవస్థలు స్థిరమైన గణితం (static math) పై నిర్మించబడ్డాయి. అవి నాయిస్ (noise) మరియు సిగ్నల్ను (signal) సమానంగా పరిగణిస్తూ, ప్రతి డేటాను ఒకేలా గ్రహిస్తాయి. కాలక్రమేణా, ఆ నాయిస్ పేరుకుపోతుంది. మోడల్ సంతృప్త స్థాయికి చేరుకుంటుంది. అది కొత్త విషయాలను నేర్చుకోవడం ఆపివేసి, కల్పిత కథనాలను సృష్టించడం (confabulating) ప్రారంభిస్తుంది.
పరిష్కారం మరిన్ని డేటా కాకుండా, మెరుగైన బయాలజీ (biology) అయితే ఎలా ఉంటుంది?
BrainStem_V8 అనే వ్యవస్థ ఈ సమస్యను భిన్నంగా చూస్తుంది. న్యూరల్ నెట్వర్క్ను ఒక స్థిరమైన కాలిక్యులేటర్లా కాకుండా, అది తినాలి, విశ్రాంతి తీసుకోవాలి మరియు తనను తాను నియంత్రించుకోవాలి అనే ఒక డిజిటల్ జీవిలా ఇది పరిగణిస్తుంది. ఈ ఆర్కిటెక్చర్ తనను తాను స్థిరంగా, నిజాయితీగా మరియు సరైన రీతిలో మేల్కొని ఉండేలా చేయడానికి మానవ న్యూరోసైన్స్ నుండి ఐదు నిర్దిష్ట సూత్రాలను తీసుకుంటుంది.
నిద్ర అనేది ఒక ఫిల్టర్, విరామం కాదు
మనుషులలో, నిద్ర అంటే మెదడు పని చేయడం ఆగిపోవడం అని కాదు. హిప్పోక్యాంపస్ (hippocampus) ఆ రోజు జరిగిన సంఘటనలను మళ్ళీ ప్లే చేస్తుంది, అనవసరమైన వివరాలను తొలగిస్తూ జ్ఞాపకాలను కార్టెక్స్ (cortex) లోకి బదిలీ చేస్తుంది. BrainStem_V8 ఈ విధానాన్ని "Slow-Wave Sleep" సైకిల్ ద్వారా అనుకరిస్తుంది.
ఈ దశలో, వ్యవస్థ ప్రాసెసింగ్ను కేవలం ఆపివేయదు. అది తన యాక్టివ్ పీరియడ్లో ఎదుర్కొన్న డేటాను మళ్ళీ ప్లే చేస్తుంది. కానీ ఇక్కడే తేడా ఉంది: ఇది కొత్త సమాచారాన్ని స్థిరమైన యాంకర్లతో (stable anchors), అంటే ఇప్పటికే నమ్మదగినవిగా నిరూపితమైన పాత ప్యాటర్న్స్తో కలుపుతుంది. వెయిటెడ్ శాంప్లింగ్ (weighted sampling) ద్వారా, ఇది కొత్త ఇన్పుట్ను ఈ యాంకర్లతో సరిచూస్తుంది. ఒకవేళ కొత్త ప్యాటర్న్ ఇప్పటికే ఉన్న నిర్మాణానికి విపరీతంగా విరుద్ధంగా ఉంటే, అది నాయిస్గా వర్గీకరించబడుతుంది మరియు మోడల్ లాజిక్ను పాడుచేయకముందే తొలగించబడుతుంది.
ఇది ఎందుకు ముఖ్యమంటే, నేర్చుకోవడం అనేది ఒక మెటబాలిక్ టాక్స్ (metabolic tax) లాంటిది. ప్రతి అప్డేట్ సామర్థ్యాన్ని వినియోగిస్తుంది. ఈ ఫిల్టరింగ్ స్లీప్ సైకిల్ లేకపోతే, మోడల్ తన స్వంత ట్రైనింగ్ సెట్ వల్లనే విఫలమయ్యే వరకు డేటాను గ్రహిస్తూనే ఉంటుంది. BrainStem_V8 నిద్రను ఒక ఐచ్ఛిక విరామంలా కాకుండా, తప్పనిసరి నిర్వహణగా (mandatory maintenance) పరిగణిస్తుంది.
ఎప్పుడు ఆగాలో అడెనోసిన్ (Adenosine) బ్యాటరీకి తెలుసు
మీరు మేల్కొని ఉన్నప్పుడు పేరుకుపోయే మరియు నిద్రపోవాలనే ఒత్తిడిని కలిగించే ఒక రసాయనమైన అడెనోసిన్ (adenosine) ద్వారా మీ మెదడు అలసటను గుర్తిస్తుంది. BrainStem_V8 ఇదే హెచ్చరిక వ్యవస్థ యొక్క డిజిటల్ వెర్షన్ను అమలు చేస్తుంది.
యాక్టివ్ "wake" సైకిల్స్ సమయంలో, ఈ ఆర్కిటెక్చర్ తన స్వంత యాక్టివిటీ లెవల్స్ను పర్యవేక్షిస్తుంది. అది ఎంత కష్టపడి పనిచేస్తోంది, ఎన్ని ఎక్స్ట్రీమ్ వాల్యూస్ను (extreme values) సృష్టిస్తోంది మరియు దాని పారామీటర్లు బేస్లైన్ నుండి ఎంత దూరంగా మళ్లుతున్నాయి అనేది గమనిస్తుంది. అంతర్గత యాక్టివిటీ ముందుగా నిర్ణయించిన పరిమితిని చేరుకున్నప్పుడు, వ్యవస్థ తప్పనిసరి విశ్రాంతి సైకిల్ను ప్రారంభిస్తుంది.
ఈ విశ్రాంతి ఒక నిర్దిష్ట శారీరక (physiological) ప్రయోజనాన్ని కలిగి ఉంటుంది. నిద్ర అడెనోసిన్ను తొలగించి మెదడును పునరుద్ధరించినట్లే, వ్యవస్థ యొక్క విశ్రాంతి సమయం ఎక్స్ట్రీమ్ స్టాటిస్టికల్ వాల్యూస్ను తిరిగి ఆరోగ్యకరమైన మధ్య శ్రేణిలోకి తీసుకువస్తుంది. ఇది డిజైనర్లు పిలిచే "digital burnout"ను నివారిస్తుంది — అంటే మోడల్ యొక్క వెయిట్స్ (weights) ఎంత అస్థిరంగా మారుతాయంటే, వ్యవస్థ స్పష్టమైన అవుట్పుట్ను సృష్టించలేకపోతుంది. ఈ విశ్రాంతి అనేది మానవ ఇంజనీర్ నిర్ణయించిన షెడ్యూల్ కాదు. ఇది ఆర్కిటెక్చర్ ద్వారా అమలు చేయబడే ఒక జీవసంబంధమైన అవసరం (biological imperative).
డిజిటల్ న్యూరోమోడ్యులేటర్లు నియమాలను మారుస్తాయి
సాంప్రదాయ సాఫ్ట్వేర్ హార్డ్కోడ్ చేయబడిన లాజిక్పై నడుస్తుంది. X జరిగితే, Y చేయి. న్యూరల్ నెట్వర్క్లు దీనిని కొంత సడలిస్తాయి, కానీ అవి ఇప్పటికీ సాధారణంగా స్థిరమైన ఆప్టిమైజేషన్ అల్గారిథమ్ల ద్వారానే నేర్చుకుంటాయి. BrainStem_V8 ఆ దృఢత్వాన్ని కొంతవరకు మెటాప్లాస్టిసిటీ (metaplasticity)తో మారుస్తుంది, అంటే నేర్చుకునే విధానాన్ని మార్చుకోగల సామర్థ్యం.
ఇది రెండు ప్రసిద్ధ న్యూరోమోడ్యులేటర్లను అనుకరిస్తూ చేస్తుంది: డోపమైన్ (dopamine) మరియు సెరోటోనిన్ (serotonin). డిజిటల్ డోపమైన్ సర్క్యూట్ వ్యవస్థను కొత్తదనాన్ని వెతకడానికి ప్రేరేపిస్తుంది. మోడల్ కొత్త డేటాను ఎదుర్కొన్నప్పుడు, ఈ సిగ్నల్ పెరుగుతుంది మరియు ఆర్కిటెక్చర్ను అన్వేషించడానికి, దాని అవగాహనను విస్తరించడానికి మరియు కొత్తదాన్ని స్వీకరించడానికి ప్రేరేపిస్తుంది. డిజిటల్ సెరోటోనిన్ దీనికి విరుద్ధంగా పనిచేస్తుంది. ఇది స్థిరత్వాన్ని అమలు చేస్తుంది మరియు సవరణను (revision) ప్రారంభిస్తుంది. వ్యవస్థ మొదలుపెట్టినప్పుడు