HoneyDrunk.Lore നിർമ്മിക്കുന്നു: എന്റെ LLM വിക്കിയും ഡെയ്‌ലി ന്യൂസ് ബ്ലാസ്റ്റും

ഞാൻ ഒരുപാട് വായിക്കാറുണ്ട്. മോഡൽ അപ്‌ഡേറ്റുകൾ, ഏജന്റ് വാർത്തകൾ, ആർക്കിടെക്ചർ പോസ്റ്റുകൾ, സെക്യൂരിറ്റി റിസർച്ച് എന്നിവ ഞാൻ പിന്തുടരുന്നു. ഇതിൽ ഭൂരിഭാഗം വിവരങ്ങളും ഇപ്പോൾ പ്രസക്തമല്ലായിരിക്കാം. എന്നാൽ പിന്നീട് അവ പ്രധാനപ്പെട്ടതാകും.

സാധാരണ ബൂക്ക്മാർക്കുകൾ എനിക്ക് ഉപകാരപ്പെടുന്നില്ല. അവ ലിങ്കുകൾ സേവ് ചെയ്യുന്നുണ്ടെങ്കിലും അതിന്റെ അർത്ഥം നഷ്ടപ്പെടുന്നു. ചാറ്റ് ഹിസ്റ്ററി സംഭാഷണങ്ങൾ സൂക്ഷിക്കുന്നുണ്ടെങ്കിലും അതിന്റെ ഘടന (structure) നഷ്ടപ്പെടുന്നു. RAG എനിക്ക് വിവരങ്ങൾ കഷണങ്ങളായി നൽകുന്നുണ്ടെങ്കിലും ഓരോ തവണയും എന്റെ ചിന്തകൾ വീണ്ടും ക്രമീകരിക്കേണ്ടി വരുന്നു.

ഇത് പരിഹരിക്കാനാണ് ഞാൻ HoneyDrunk.Lore നിർമ്മിച്ചത്. ഇത് എന്റെ സ്റ്റുഡിയോയ്ക്കായുള്ള ഒരു LLM വിക്കിയാണ്. ഇത് അസംസ്‌കൃത വിവരങ്ങളെ (raw information) ക്രോഡീകരിച്ച ഒരു അറിവ് സംവിധാനമാക്കി മാറ്റുന്നു.

ഈ സിസ്റ്റം ലളിതമായ ഒരു പൈപ്പ്‌ലൈൻ ഉപയോഗിക്കുന്നു:

  • അസംസ്‌കൃത സ്രോതസ്സുകൾ (Raw sources) ഒരു എവിഡൻസ് ലോക്കറിൽ എത്തുന്നു.
  • ഏജന്റുകൾ അവ വായിക്കുകയും അവയിൽ നിന്നുള്ള അവകാശവാദങ്ങൾ (claims) വേർതിരിച്ചെടുക്കുകയും ചെയ്യുന്നു.
  • വിക്കി ടോപ്പിക് പേജുകൾ അപ്‌ഡേറ്റ് ചെയ്യുകയും ആശയങ്ങളെ തമ്മിൽ ബന്ധിപ്പിക്കുകയും ചെയ്യുന്നു.
  • ഒരു മെയിന്റനൻസ് ലൂപ്പ് ഡാറ്റ പരിശോധിക്കുകയും വൈരുദ്ധ്യങ്ങളോ വിടവുകളോ ഉണ്ടോ എന്ന് കണ്ടെത്തുകയും ചെയ്യുന്നു.

ഇത് വെറുമൊരു സംഗ്രഹങ്ങളുടെ കൂട്ടമല്ല. ഇത് കൃത്യമായി പരിപാലിക്കപ്പെടുന്ന ഒരു ആർട്ടിഫാക്റ്റ് (artifact) ആണ്.

ഈ സിസ്റ്റം ഡിസ്‌കോർഡിനായി (Discord) ഒരു ഡെയ്‌ലി ന്യൂസ് ബ്ലാസ്റ്റും തയ്യാറാക്കുന്നു. ഇത് മികച്ച 10 വെബ് സ്റ്റോറികളും മികച്ച 10 സോഷ്യൽ പോസ്റ്റുകളും തിരഞ്ഞെടുക്കുന്നു. ഓരോ ഐറ്റത്തിലും ഇവ ഉൾപ്പെടുന്നു:

  • ഒരു ചെറിയ സംഗ്രഹം.
  • ഒറിജിനൽ URL.
  • അത് എന്റെ ജോലിയെ എങ്ങനെ ബാധിക്കുന്നു എന്നതിനെക്കുറിച്ചുള്ള ഒരു പ്രത്യേക കാഴ്ചപ്പാട്.

സോഷ്യൽ മീഡിയയെ ഞാൻ ഒരു പ്രാഥമിക സൂചനയായി (early signal) മാത്രമേ കാണുന്നുള്ളൂ. ഒരു ട്വീറ്റ് ഒരു ലോഞ്ചിനെക്കുറിച്ച് ആദ്യം റിപ്പോർട്ട് ചെയ്തേക്കാം. എന്നാൽ ആ വിവരം ഒരു സ്ഥിരമായ വസ്തുതയായി കണക്കാക്കുന്നതിന് മുമ്പ് വിക്കി ഒരു ഔദ്യോഗിക ബ്ലോഗ് പോസ്റ്റിനോ ഡോക്യുമെന്റേഷനോ വേണ്ടി കാത്തിരിക്കുന്നു. ഇത് "ഞാൻ ഒരു കാര്യം കണ്ടു" എന്നതിൽ നിന്നും "വിക്കിക്ക് ഒരു കാര്യം അറിയാം" എന്നതിലേക്കുള്ള വ്യത്യാസം വ്യക്തമാക്കുന്നു.

Lore എന്നത് ഏജന്റ് മെമ്മറി അല്ല. അത് ഗവേണൻസ് അല്ല. ഇത് സ്രോതസ്സുകളെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു ഡിസിഷൻ സപ്പോർട്ട് (decision support) സംവിധാനമാണ്. വിക്കി ഒരു അവകാശവാദം ഉന്നയിക്കുകയാണെങ്കിൽ, അത് സ്രോതസ്സിലേക്ക് വിരൽ ചൂണ്ടുകയും അതിന്റെ കോൺഫിഡൻസ് ലെവൽ (confidence level) കാണിക്കുകയും വേണം.

സെർച്ച് എന്നത് ഒരു കാര്യം കണ്ടെത്താൻ കഴിയുമോ എന്ന് ചോദിക്കുന്നു. എന്നാൽ Lore ചോദിക്കുന്നത് ആ കാര്യം നിങ്ങൾ നേരത്തെ അറിയുന്ന കാര്യങ്ങളുമായി സംയോജിപ്പിക്കാൻ സാധിക്കുമോ എന്നാണ്. ഒന്ന് വിവരങ്ങൾ വീണ്ടെടുക്കുന്നു (retrieves), മറ്റൊന്ന് അവയെ ക്രോഡീകരിക്കുന്നു (compounds).

ദീർഘകാലാടിസ്ഥാനത്തിലാണ് ഞാൻ ഇത് നിർമ്മിക്കുന്നത്. സെഷനുകൾക്കിടയിലും സജീവമായിരിക്കുന്നതും ഞാൻ പഠിക്കുന്നതിനനുസരിച്ച് വളരുന്നതുമായ ഒരു സിസ്റ്റം ഞാൻ ആഗ്രഹിക്കുന്നു.

Source: https://dev.to/tatted_dev/building-honeydrunklore-my-llm-wiki-and-daily-news-blast-2pfl

Optional learning community: https://t.me/GyaanSetuAi