𝗕𝘂𝗶𝗹𝗱𝗶𝗻𝗴 𝗛𝗼𝗻𝗲𝘆𝗗𝗿𝘂𝗻𝗸.𝗟𝗼𝗿𝗲: 𝗠𝘆 𝗟𝗟𝗠 𝗪𝗶𝗸𝗶 𝗮𝗻𝗱 𝗗𝗮𝗶𝗹𝘆 𝗡𝗲𝘄𝘀 𝗕𝗹𝗮𝘀𝘁

আমি অনেক বেশি পড়ি। আমি মডেল আপডেট, এজেন্ট নিউজ, আর্কিটেকচার পোস্ট এবং সিকিউরিটি রিসার্চ অনুসরণ করি। এই তথ্যের বেশিরভাগই এখন গুরুত্বপূর্ণ নয়। এগুলো পরে কাজে লাগবে।

সাধারণ বুকমার্কগুলো আমার কাজে আসে না। সেগুলো লিঙ্ক সেভ করে কিন্তু অর্থ হারিয়ে ফেলে। চ্যাট হিস্ট্রি কথোপকথন সেভ করে কিন্তু গঠন হারিয়ে ফেলে। RAG আমাকে ছোট ছোট অংশ (chunks) দেয় কিন্তু প্রতিবার আমাকে আমার চিন্তাগুলো নতুন করে সাজাতে হয়।

এই সমস্যা সমাধানের জন্য আমি HoneyDrunk.Lore তৈরি করেছি। এটি আমার স্টুডিওর জন্য একটি LLM উইকি। এটি কাঁচা তথ্যকে (raw information) একটি সংকলিত জ্ঞান ব্যবস্থায় রূপান্তরিত করে।

সিস্টেমটি একটি সহজ পাইপলাইন ব্যবহার করে:

  • কাঁচা উৎসগুলো (Raw sources) একটি এভিডেন্স লকারে জমা হয়।
  • এজেন্টগুলো সেগুলো পড়ে এবং দাবিগুলো (claims) বের করে আনে।
  • উইকি টপিক পেজগুলো আপডেট করে এবং ধারণাগুলোর মধ্যে সংযোগ স্থাপন করে।
  • একটি মেইনটেন্যান্স লুপ ডেটা যাচাই (lint) করে কোনো বৈপরীত্য বা ঘাটতি আছে কি না তা খুঁজে বের করে।

এটি কেবল কতগুলো সারাংশের স্তূপ নয়। এটি একটি রক্ষণাবেক্ষণ করা আর্টিফ্যাক্ট (maintained artifact)।

সিস্টেমটি Discord-এর জন্য একটি ডেইলি নিউজ ব্লাস্টও তৈরি করে। এটি সেরা ১০টি ওয়েব স্টোরি এবং সেরা ১০টি সোশ্যাল পোস্ট বেছে নেয়। প্রতিটি আইটেমে থাকে:

  • একটি সংক্ষিপ্ত সারাংশ।
  • মূল URL।
  • আমার কাজের জন্য এটি কেন গুরুত্বপূর্ণ তার একটি নির্দিষ্ট দৃষ্টিভঙ্গি।

আমি সোশ্যাল মিডিয়াকে কেবল প্রাথমিক সংকেত (early signal) হিসেবে দেখি। একটি টুইট হয়তো কোনো লঞ্চের খবর সবার আগে দিতে পারে। কিন্তু উইকি সেই তথ্যটিকে একটি স্থায়ী সত্য হিসেবে গ্রহণ করার আগে একটি অফিসিয়াল ব্লগ পোস্ট বা ডকুমেন্টেশনের জন্য অপেক্ষা করে। এটি "আমি কিছু একটা দেখেছি" এবং "উইকি কিছু একটা জানে" - এই দুটির মধ্যে পার্থক্য তৈরি করে।

Lore কোনো এজেন্টের মেমরি নয়। এটি কোনো গভর্নেন্সও নয়। এটি হলো সোর্স-ভিত্তিক সিদ্ধান্ত সহায়িকা (source-backed decision support)। যদি উইকি কোনো দাবি করে, তবে তাকে অবশ্যই উৎসের দিকে নির্দেশ করতে হবে এবং তার কনফিডেন্স লেভেল দেখাতে হবে।

সার্চ জিজ্ঞেস করে আপনি কোনো কিছু খুঁজে পেতে পারেন কি না। Lore জিজ্ঞেস করে সেই বিষয়টি আপনার জানা তথ্যের সাথে সমন্বিত হয়েছে কি না। একটি তথ্য খুঁজে বের করে (retrieves), অন্যটি তথ্যকে সমৃদ্ধ করে (compounds)।

আমি এটি দীর্ঘমেয়াদী পরিকল্পনার জন্য তৈরি করছি। আমি এমন একটি সিস্টেম চাই যা সেশনগুলোর মাঝেও সক্রিয় থাকবে এবং আমার শেখার সাথে সাথে বৃদ্ধি পাবে।

Source: https://dev.to/tatted_dev/building-honeydrunklore-my-llm-wiki-and-daily-news-blast-2pfl

Optional learning community: https://t.me/GyaanSetuAi