𝗙𝗶𝗻𝗲-𝘁𝘂𝗻𝗶𝗻𝗴 𝘃𝘀 𝗥𝗔𝗚: 𝗟𝗟𝗠 ને શીખવવાની બે રીતો
તમે ઈચ્છો છો કે LLM તમારા ખાનગી દસ્તાવેજો અથવા તાજેતરના સમાચાર જાણે. તમારી પાસે બે વિકલ્પો છે: RAG અથવા fine-tuning. લોકો અવારનવાર ખોટો વિકલ્પ પસંદ કરે છે.
નિયમ સરળ છે. તથ્યો (facts) માટે RAG નો ઉપયોગ કરો. વર્તણૂક (behavior) માટે fine-tuning નો ઉપયોગ કરો.
RAG (Retrieval-Augmented Generation) તે ઓપન-બુક પરીક્ષા જેવું કામ કરે છે. તમે ડેટા મોડેલની બહાર રાખો છો. તમે સંબંધિત માહિતી મેળવો છો અને તેને પ્રોમ્પ્ટમાં પેસ્ટ કરો છો.
- જ્ઞાન માટે તેનો ઉપયોગ કરો.
- વારંવાર બદલાતા તથ્યો માટે તેનો ઉપયોગ કરો.
- તે સસ્તું છે.
- તે તરત જ અપડેટ થાય છે.
- તે સ્ત્રોતોનો ઉલ્લેખ કરે છે.
Fine-tuning તે નવી આદત કેળવવી જેવું છે. તમે ચોક્કસ ઉદાહરણો પર મોડેલને તાલીમ આપો છો.
- વર્તણૂક માટે તેનો ઉપયોગ કરો.
- ટોન (tone) અને ફોર્મેટ માટે તેનો ઉપયોગ કરો.
- મર્યાદિત કૌશલ્યો માટે તેનો ઉપયોગ કરો.
- તેમાં ટ્રેનિંગ રન (training run) ની જરૂર પડે છે.
- તેમાં પસંદ કરેલા (curated) ઉદાહરણોની જરૂર પડે છે.
- તથ્યો બદલાતા તે જૂનું થઈ જાય છે.
કેવી રીતે પસંદ કરવું: તમારી જાતને પૂછો કે તમારે તથ્યની જરૂર છે કે વર્તવાની રીતની.
જો તમારે આ અપડેટ કરવાની જરૂર હોય તો RAG નો ઉપયોગ કરો:
- પ્રોડક્ટ કેટલોગ્સ.
- કંપનીની નીતિઓ.
- દૈનિક સમાચાર.
જો તમારે આની જરૂર હોય તો fine-tuning નો ઉપયોગ કરો:
- એક ચોક્કસ બ્રાન્ડ વોઈસ (brand voice).
- એક કડક JSON આઉટપુટ ફોર્મેટ.
શ્રેષ્ઠ અભિગમમાં અવારનવાર બંનેનું મિશ્રણ હોય છે. મોડેલ કેવી રીતે જવાબ આપે છે તેના માટે fine-tune કરો. તે કયા તથ્યોનો ઉપયોગ કરે છે તેના માટે RAG નો ઉપયોગ કરો. એક સપોર્ટ બોટ વ્યાવસાયિક (professional) લાગે તે માટે fine-tuning નો ઉપયોગ કરે છે અને લેટેસ્ટ હેલ્પ આર્ટિકલ્સ મેળવવા માટે RAG નો ઉપયોગ કરે છે.
પ્રોમ્પ્ટિંગ અને RAG થી શરૂઆત કરો. જ્યારે ખૂબ જ જરૂરી હોય ત્યારે જ fine-tuning તરફ આગળ વધો.
આ સિનારિયો અહીં ટેસ્ટ કરો: https://dev48v.infy.uk/ai/days/day10-finetune-vs-rag.html
સ્ત્રોત: https://dev.to/dev48v/fine-tuning-vs-rag-two-ways-to-teach-an-llm-3d04
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi