AI മോഡലുകൾ യഥാർത്ഥത്തിൽ എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നത്
ഇമെയിലുകൾ എഴുതാനോ കോഡ് ശരിയാക്കാനോ നിങ്ങൾ AI ഉപയോഗിക്കുന്നു. മിക്ക ആളുകളും ഇതിനെ ഒരു അൽഗോരിതം എന്ന് വിളിക്കുന്നു. എന്നാൽ ഇത് എങ്ങനെയാണ് പ്രവർത്തിക്കുന്നതെന്ന് അവർക്കറിയില്ല. ഇതിന് പിന്നിലെ ഗണിതം സങ്കീർണ്ണമാണെങ്കിൽ പോലും, അതിന്റെ പ്രക്രിയ മനസ്സിലാക്കാൻ വളരെ ലളിതമാണ്.
ഇതിന്റെ അടിസ്ഥാന ആശയം പ്രവചനമാണ് (prediction).
നിങ്ങൾ "The cat sat on the," എന്ന് ടൈപ്പ് ചെയ്താൽ, അടുത്ത വാക്ക് എന്തായിരിക്കുമെന്ന് മോഡൽ പ്രവചിക്കുന്നു. ആ വാക്കിന് ഉയർന്ന സാധ്യതയുള്ളതിനാൽ അത് "mat" എന്ന് തിരഞ്ഞെടുക്കുന്നു. ഒരു പൂർണ്ണ വാചകം നിർമ്മിക്കുന്നതിനായി ഇത് ഓരോ വാക്കായി ആവർത്തിക്കുന്നു. വാക്കുകൾ കൃത്യമായി പ്രവചിക്കുന്നതിനായി മോഡൽ വ്യാകരണം, വസ്തുതകൾ, യുക്തി എന്നിവ പഠിക്കുന്നു.
ഇതിന്റെ നാല് ഘട്ടങ്ങൾ താഴെ പറയുന്നവയാണ്:
ടോക്കണുകൾ (Tokens) മോഡലുകൾ വാക്കുകൾ വായിക്കുന്നില്ല. അവ സംഖ്യകളാണ് വായിക്കുന്നത്. അവ ടെക്സ്റ്റിനെ 'ടോക്കണുകൾ' എന്ന് വിളിക്കുന്ന ചെറിയ ഭാഗങ്ങളായി തിരിക്കുന്നു. ഓരോ ടോക്കണും സംഖ്യകളുടെ ഒരു പട്ടികയായി മാറുന്നു. ഓരോ സംഭാഷണത്തിന് പിന്നിലും വൻതോതിലുള്ള ഗണിതക്രിയകൾ നടക്കുന്നുണ്ട്.
പരിശീലനം (Training) ഒരു മോഡൽ എങ്ങനെയാണ് പഠിക്കുന്നത് എന്നതാണ് പരിശീലനം. പുസ്തകങ്ങളിൽ നിന്നും വെബ്സൈറ്റുകളിൽ നിന്നുമുള്ള കോടിക്കണക്കിന് പേജുകൾ നിങ്ങൾ അതിന് കാണിച്ചുകൊടുക്കുന്നു. മോഡൽ ഒരു ടോക്കൺ പ്രവചിക്കുകയും ഉത്തരം പരിശോധിക്കുകയും ചെയ്യുന്നു. അത് തെറ്റാണെങ്കിൽ, സിസ്റ്റം അതിന്റെ ആന്തരിക ക്രമീകരണങ്ങൾ (internal settings) ക്രമീകരിക്കുന്നു. ഇത് ട്രില്യൺ കണക്കിന് തവണ ആവർത്തിക്കുന്നു. ഇതിനായി മനുഷ്യർ നിയമങ്ങൾ എഴുതി നൽകുന്നില്ല. മോഡൽ സ്വയം പാറ്റേണുകൾ കണ്ടെത്തുന്നു.
അറ്റൻഷൻ (Attention) ഇത് സന്ദർഭങ്ങൾ (context) മനസ്സിലാക്കാൻ മോഡലിനെ സഹായിക്കുന്നു. "The trophy did not fit in the suitcase because it was too big" എന്ന വാചകത്തിൽ, "it" എന്നത് ട്രോഫിയെയാണ് സൂചിപ്പിക്കുന്നത്. മുൻപത്തെ ഏത് വാക്കുകളാണ് ഏറ്റവും പ്രധാനപ്പെട്ടതെന്ന് അറ്റൻഷൻ മോഡലിനെ അറിയിക്കുന്നു. ഇത് നീളമുള്ള ഖണ്ഡികകളിലെ അർത്ഥം മനസ്സിലാക്കാൻ മോഡലിനെ സഹായിക്കുന്നു.
ഫൈൻ ട്യൂണിംഗ് (Fine-tuning) അടിസ്ഥാന മോഡലുകൾ വെറും പ്രവചന യന്ത്രങ്ങൾ മാത്രമാണ്. അവയെ സഹായികളായി (assistants) മാറ്റുന്നത് ഫൈൻ ട്യൂണിംഗ് ആണ്. മനുഷ്യർ ഉത്തരങ്ങൾക്ക് റേറ്റിംഗ് നൽകുന്നു. ഈ റേറ്റിംഗുകളുടെ അടിസ്ഥാനത്തിൽ സഹായകരവും സുരക്ഷിതവുമായ മറുപടികൾ നൽകാൻ മോഡൽ പഠിക്കുന്നു.
നിങ്ങൾ 'സെൻഡ്' അമർത്തുമ്പോൾ എന്താണ് സംഭവിക്കുന്നത്?
നിങ്ങളുടെ ടെക്സ്റ്റ് സംഖ്യകളായി മാറുന്നു. ആ സംഖ്യകൾ ഗണിതത്തിന്റെ വിവിധ തലങ്ങളിലൂടെ കടന്നുപോകുന്നു. അടുത്ത ടോക്കണിനുള്ള സാധ്യത (probability) മോഡൽ കണക്കാക്കുന്നു. മറുപടി പൂർത്തിയാകുന്നത് വരെ അത് ഒരു ടോക്കൺ തിരഞ്ഞെടുക്കുകയും ഈ പ്രക്രിയ ആവർത്തിക്കുകയും ചെയ്യുന്നു. ഇത് നിമിഷങ്ങൾക്കുള്ളിൽ സംഭവിക്കുന്നു.
AI ഒരു മാന്ത്രികവിദ്യയല്ല. അത് വൻതോതിലുള്ള പ്രവചനമാണ്. ഇത് മനസ്സിലാക്കുന്നത് ഈ ടൂൾ കൂടുതൽ നന്നായി ഉപയോഗിക്കാൻ നിങ്ങളെ സഹായിക്കും.
Source: https://dev.to/rameshkumarramu/ai-models-how-do-they-actually-work-2kmm
Optional learning community: https://t.me/GyaanSetuAi