𝗔𝗜 𝗔𝗴𝗲𝗻𝘁𝘀: 𝗠𝗲𝗺𝗼𝗿𝘆 𝘃𝘀. 𝗞𝗻𝗼𝘄𝗹𝗲𝗱𝗴𝗲
മിക്ക AI ഏജന്റുകൾക്കും മെമ്മറി മാത്രമേയുള്ളൂ. നിങ്ങളുടെ പേരോ താൽപ്പര്യങ്ങളോ ഓർത്തെടുക്കുക എന്നതാണ് മെമ്മറി കൊണ്ട് അർത്ഥമാക്കുന്നത്. ഇത് മാത്രം മതിയാകില്ല.
യഥാർത്ഥ മൂല്യം നൽകുന്നതിന്, ഒരു ഏജന്റിന് അറിവ് (knowledge) ആവശ്യമാണ്.
മെമ്മറി എന്നാൽ "ഞാൻ ഇത് കണ്ടു" എന്നാണ്. അറിവ് എന്നാൽ "എനിക്ക് ഇത് ഉപയോഗിക്കാൻ കഴിയും" എന്നാണ്.
മിക്ക ഫ്രെയിംവർക്കുകളും കോൺടെക്സ്റ്റ് കാഷിംഗ് (context caching) ആണ് ഉപയോഗിക്കുന്നത്. അവ ചാറ്റ് ലോഗുകളോ ലളിതമായ കീ-വാല്യൂ ജോഡികളോ (key-value pairs) ആണ് സംഭരിക്കുന്നത്. ഇതൊരു നോളജ് ബേസ് (knowledge base) അല്ല. മെമ്മറി മാത്രം ഉള്ള ഒരു ഏജന്റിന് ഒരു വെബ്സൈറ്റിൽ നിന്നോ, വീഡിയോയിൽ നിന്നോ, അല്ലെങ്കിൽ ഒരു സാങ്കേതിക പുസ്തകത്തിൽ നിന്നോ പഠിക്കാൻ കഴിയില്ല. അതിന് ഒരു കളക്ഷൻ ലെയറിന്റെ (collection layer) അഭാവമുണ്ട്.
ഈ മൂന്ന് ലെയറുകൾ ഉപയോഗിച്ച് നിങ്ങളുടെ ഏജന്റിനെ നിർമ്മിക്കുക:
- കളക്ഷൻ ലെയർ (Collection Layer): വെബ് പേജുകൾ, വീഡിയോകൾ, ഡോക്യുമെന്റുകൾ, പുസ്തകങ്ങൾ എന്നിവയിൽ നിന്ന് ഡാറ്റ ശേഖരിക്കുന്നു.
- അനാലിസിസ് ലെയർ (Analysis Layer): സംഗ്രഹിക്കാനും (summarize), കീവേഡുകൾ വേർതിരിച്ചെടുക്കാനും, വസ്തുതകൾ പരിശോധിക്കാനും AI ഉപയോഗിക്കുന്നു.
- സ്റ്റോറേജ് ലെയർ (Storage Layer): ഡാറ്റയെ മൂന്ന് തട്ടുകളായി (tiers) ക്രമീകരിക്കുന്നു.
മൂന്ന് സ്റ്റോറേജ് തട്ടുകൾ ഇപ്രകാരമാണ് പ്രവർത്തിക്കുന്നത്:
- ഹോട്ട് ടിയർ (Hot Tier - Hermes Memory Tool): കൃത്യമായ കീ-വാല്യൂ റിട്രീവലിനായി നാനോസെക്കൻഡ് വേഗത ഉപയോഗിക്കുന്നു.
- വാം ടിയർ (Warm Tier - Hindsight Vector DB): സെമാന്റിക് സമാനതയ്ക്കായി (semantic similarity) മില്ലിസെക്കൻഡ് വേഗത ഉപയോഗിക്കുന്നു.
- കോൾഡ് ടിയർ (Cold Tier - gbrain Knowledge Graph): സങ്കീർണ്ണമായ റീസണിംഗിനും (reasoning) ലിങ്കുകൾക്കും സെക്കൻഡ് വേഗത ഉപയോഗിക്കുന്നു.
നിങ്ങൾ തിരയുമ്പോൾ, സിസ്റ്റം ഒരു ഫോളബാക്ക് പാത്ത് (fallback path) പിന്തുടരുന്നു. ഇത് FTS5-ൽ നിന്ന് തുടങ്ങുന്നു. അത് പരാജയപ്പെട്ടാൽ, Hindsight-ലേക്ക് മാറുന്നു. അത് പരാജയപ്പെട്ടാൽ, gbrain-ലേക്ക് മാറുന്നു. ഒരു മാച്ച് ലഭിച്ചാലുടൻ പ്രവർത്തനം നിർത്തുന്നതിലൂടെ ഇത് നിങ്ങളുടെ LLM ടോക്കണുകൾ ലാഭിക്കുന്നു.
ഒരു വീഡിയോയുടെ ഉദാഹരണ വർക്ക്ഫ്ലോ:
- yt-dlp വഴി വീഡിയോ ഡൗൺലോഡ് ചെയ്യുക.
- Whisper വഴി സംസാരത്തെ ടെക്സ്റ്റാക്കി മാറ്റുക.
- OCR ഉപയോഗിച്ച് ഫ്രെയിമുകളിൽ നിന്ന് ടെക്സ്റ്റ് വേർതിരിച്ചെടുക്കുക.
- ഒരു സ്ട്രക്ചേർഡ് സമ്മറി നിർമ്മിക്കാൻ LLM ഉപയോഗിക്കുക.
- നോളജ് ഗ്രാഫിലേക്ക് സേവ് ചെയ്യുക.
ഒരു കമാൻഡ് കൊണ്ട് ഈ മുഴുവൻ പ്രക്രിയയും തുടങ്ങാം.
നിങ്ങൾ പറഞ്ഞ കാര്യങ്ങൾ മാത്രം ഓർമ്മിച്ചുവെക്കുന്ന ഏജന്റുകളെ നിർമ്മിക്കുന്നത് നിർത്തുക. ലോകത്തിൽ നിന്നുള്ള വിവരങ്ങൾ ആഗിരണം ചെയ്യുന്ന ഏജന്റുകളെ നിർമ്മിക്കുക. ഒരു ഏജന്റ് പുതിയ വെബ് ഡാറ്റയെ നിങ്ങളുടെ നിലവിലുള്ള അറിവുമായി ബന്ധിപ്പിക്കുമ്പോൾ, അത് യഥാർത്ഥത്തിൽ കാര്യങ്ങൾ മനസ്സിലാക്കാൻ തുടങ്ങുന്നു.
സ്രോതസ്സ്: https://dev.to/manoir_yantai_f22f01340f0/ai-dai-li-de-ji-yi-kun-jing-cong-ji-zhu-dao-zhi-dao--2g9n
ഓപ്ഷണൽ ലേണിംഗ് കമ്മ്യൂണിറ്റി: https://t.me/GyaanSetuAi