HoneyDrunk.Lore બનાવવું: મારી LLM વિકિ અને ડેઇલી ન્યૂઝ બ્લાસ્ટ

હું ઘણું વધારે વાંચું છું. હું મોડેલ અપડેટ્સ, એજન્ટ ન્યૂઝ, આર્કિટેક્ચર પોસ્ટ્સ અને સિક્યુરિટી રિસર્ચ પર નજર રાખું છું. આમાંથી મોટાભાગની માહિતી અત્યારે મહત્વની નથી. તે પછીથી કામ લાગશે.

સામાન્ય બુકમાર્ક્સ મારા માટે નિષ્ફળ જાય છે. તેઓ લિંક્સ સેવ કરે છે પણ તેનો અર્થ ગુમાવી દે છે. ચેટ હિસ્ટ્રી વાતચીત સાચવે છે પણ તેનું માળખું ગુમાવી દે છે. RAG મને ટુકડાઓ (chunks) આપે છે પણ દર વખતે મને મારા વિચારો ફરીથી બનાવવા માટે મજબૂર કરે છે.

આ સમસ્યાના ઉકેલ માટે મેં HoneyDrunk.Lore બનાવ્યું છે. તે મારા સ્ટુડિયો માટે એક LLM વિકિ છે. તે કાચી માહિતીને સંકલિત જ્ઞાન પ્રણાલીમાં (compiled knowledge system) ફેરવે છે.

આ સિસ્ટમ એક સરળ પાઇપલાઇનનો ઉપયોગ કરે છે:

  • કાચા સ્ત્રોતો (Raw sources) એવિડન્સ લોકરમાં જાય છે.
  • એજન્ટ્સ તેને વાંચે છે અને દાવાઓ (claims) કાઢે છે.
  • વિકિ ટોપિક પેજ અપડેટ કરે છે અને સંકલ્પનાઓને (concepts) લિંક કરે છે.
  • મેન્ટેનન્સ લૂપ વિરોધાભાસ અથવા ખામીઓ શોધવા માટે ડેટાનું લિન્ટિંગ (linting) કરે છે.

આ માત્ર સારાંશનો ઢગલો નથી. તે એક જાળવેલ આર્ટિફેક્ટ (maintained artifact) છે.

આ સિસ્ટમ Discord માટે ડેઇલી ન્યૂઝ બ્લાસ્ટ પણ તૈયાર કરે છે. તે ટોચની 10 વેબ સ્ટોરીઝ અને ટોચની 10 સોશિયલ પોસ્ટ્સ પસંદ કરે છે. દરેક આઇટમમાં નીચેની બાબતો સામેલ છે:

  • એક ટૂંકો સારાંશ.
  • મૂળ URL.
  • તે મારા કામ માટે શા માટે મહત્વનું છે તેના પર એક ચોક્કસ દ્રષ્ટિકોણ.

હું સોશિયલ મીડિયાને માત્ર પ્રારંભિક સંકેત (early signal) તરીકે ગણું છું. કોઈ ટ્વીટ કદાચ કોઈ લોન્ચિંગ વિશે સૌથી પહેલા રિપોર્ટ કરી શકે છે. પરંતુ વિકિ તે માહિતીને કાયમી તથ્ય તરીકે સ્વીકારતા પહેલા સત્તાવાર બ્લોગ પોસ્ટ અથવા ડોક્યુમેન્ટેશનની રાહ જુએ છે. આ "મેં કંઈક જોયું છે" અને "વિકિ કંઈક જાણે છે" વચ્ચેનો તફાવત સ્પષ્ટ કરે છે.

Lore એ એજન્ટ મેમરી નથી. તે ગવર્નન્સ નથી. તે સ્ત્રોત-આધારિત નિર્ણય લેવામાં મદદરૂપ (source-backed decision support) છે. જો વિકિ કોઈ દાવો કરે છે, તો તેણે સ્ત્રોત તરફ નિર્દેશ કરવો જોઈએ અને તેનો કોન્ફિડન્સ લેવલ (confidence level) બતાવવો જોઈએ.

સર્ચ પૂછે છે કે શું તમે કોઈ વસ્તુ શોધી શકો છો. Lore પૂછે છે કે શું તે વસ્તુ તમે જે પહેલેથી જાણો છો તેમાં સમાવિષ્ટ (digested) થઈ ગઈ છે. એક વસ્તુ મેળવે છે (retrieves). બીજું તેને સંચિત (compounds) કરે છે.

હું આ લાંબા ગાળા માટે બનાવી રહ્યો છું. હું એવી સિસ્ટમ ઈચ્છું છું જે સેશન્સ વચ્ચે સક્રિય રહે અને જેમ જેમ હું શીખું તેમ તેમ વધતી જાય.

Source: https://dev.to/tatted_dev/building-honeydrunklore-my-llm-wiki-and-daily-news-blast-2pfl

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi