HoneyDrunk.Lore-ஐ உருவாக்குதல்: எனது LLM விக்கி மற்றும் தினசரி செய்தித் தொகுப்பு (Daily News Blast)

நான் அதிகமாகப் படிக்கிறேன். மாடல் அப்டேட்கள் (model updates), ஏஜென்ட் செய்திகள் (agent news), ஆர்க்கிடெக்சர் பதிவுகள் (architecture posts) மற்றும் பாதுகாப்பு ஆராய்ச்சி (security research) ஆகியவற்றைப் பின்தொடர்கிறேன். இந்தத் தகவல்களில் பெரும்பாலானவை இப்போது முக்கியமில்லை. அவை பிறகு முக்கியத்துவம் பெறும்.

சாதாரண புக்மார்க்குகள் (bookmarks) எனக்குப் பயன்படவில்லை. அவை இணைப்புகளைச் சேமிக்கின்றன, ஆனால் பொருளைத் தொலைத்துவிடுகின்றன. சாட் ஹிஸ்டரி (Chat history) உரையாடல்களைச் சேமிக்கிறது, ஆனால் கட்டமைப்பைத் தொலைத்துவிடுகிறது. RAG எனக்குத் துண்டுகளைத் தருகிறது, ஆனால் ஒவ்வொரு முறையும் எனது எண்ணங்களை நான் மீண்டும் கட்டமைக்க வேண்டியுள்ளது.

இதைத் தீர்க்கவே நான் HoneyDrunk.Lore-ஐ உருவாக்கினேன். இது எனது ஸ்டுடியோவிற்கான ஒரு LLM விக்கி (wiki). இது மூலத் தகவல்களைத் தொகுக்கப்பட்ட ஒரு அறிவு அமைப்பாக மாற்றுகிறது.

இந்த அமைப்பு ஒரு எளிய வழிமுறையைப் (pipeline) பயன்படுத்துகிறது:

  • மூல ஆதாரங்கள் (Raw sources) ஒரு ஆதாரப் பெட்டியில் (evidence locker) சேமிக்கப்படுகின்றன.
  • ஏஜென்ட்கள் அவற்றை வாசித்து, கூற்றுகளை (claims) பிரித்தெடுக்கின்றன.
  • விக்கி தலைப்புப் பக்கங்களைப் புதுப்பித்து, கருத்துக்களை இணைக்கிறது.
  • ஒரு பராமரிப்புச் சுழற்சி (maintenance loop), முரண்பாடுகள் அல்லது இடைவெளிகளைக் கண்டறிய தரவுகளைச் சரிபார்க்கிறது (lints).

இது வெறும் சுருக்கங்களின் குவியல் மட்டுமல்ல. இது முறையாகப் பராமரிக்கப்படும் ஒரு படைப்பு (artifact).

இந்த அமைப்பு Discord-க்காக ஒரு தினசரி செய்தித் தொகுப்பையும் (daily news blast) உருவாக்குகிறது. இது சிறந்த 10 இணையக் கதைகளையும் மற்றும் சிறந்த 10 சமூக ஊடகப் பதிவுகளையும் தேர்ந்தெடுக்கிறது. ஒவ்வொரு உருப்படியிலும் பின்வருவன அடங்கும்:

  • ஒரு சிறிய சுருக்கம்.
  • அசல் URL.
  • அது எனது வேலைக்கு ஏன் முக்கியம் என்பதற்கான ஒரு குறிப்பிட்ட பார்வை.

சமூக ஊடகங்களை நான் ஆரம்பகாலத் தகவலாக (early signal) மட்டுமே கருதுகிறேன். ஒரு ட்வீட் ஒரு வெளியீட்டை முதலில் தெரிவிக்கலாம். ஆனால், அந்தத் தகவலை ஒரு நிலையான உண்மையாகக் கருதுவதற்கு முன், விக்கி ஒரு அதிகாரப்பூர்வ வலைப்பதிவு (blog post) அல்லது ஆவணத்திற்காகக் காத்திருக்கிறது. இது "நான் ஒன்றைப்பார்த்தேன்" என்பதற்கும் "விக்கி ஒன்றைஅறிந்துள்ளது" என்பதற்கும் இடையிலான வேறுபாட்டை உருவாக்குகிறது.

Lore என்பது ஏஜென்ட் நினைவகம் (agent memory) அல்ல. அது நிர்வாகம் (governance) அல்ல. அது ஆதாரங்களால் வழிநடத்தப்படும் ஒரு முடிவெடுக்கும் ஆதரவு (source-backed decision support) கருவி. விக்கி ஒரு கூற்றை முன்வைத்தால், அது ஆதாரத்தைக் காட்ட வேண்டும் மற்றும் அதன் நம்பிக்கையின் அளவையும் (confidence level) வெளிப்படுத்த வேண்டும்.

தேடல் (Search) என்பது ஒரு விஷயத்தைக் கண்டறிய முடியுமா என்று கேட்கிறது. Lore என்பது அந்த விஷயம் நீங்கள் ஏற்கனவே அறிந்தவற்றோடு ஒருங்கிணைக்கப்பட்டுள்ளதா என்று கேட்கிறது. ஒன்று தகவல்களைத் திரும்பப் பெறுகிறது (retrieves). மற்றொன்று அவற்றைச் சேர்த்து வலுப்படுத்துகிறது (compounds).

நான் இதை நீண்ட காலத்திற்காக உருவாக்குகிறேன். அமர்வுகள் (sessions) இடைப்பட்ட காலத்திலும் செயல்பாட்டில் இருக்கும் மற்றும் நான் கற்றுக்கொள்ளும்போது வளரும் ஒரு அமைப்பை நான் விரும்புகிறேன்.

Source: https://dev.to/tatted_dev/building-honeydrunklore-my-llm-wiki-and-daily-news-blast-2pfl

Optional learning community: https://t.me/GyaanSetuAi