હળવા ઓપન સોર્સ LLMs માટે પ્રોમ્પ્ટ-ડ્રિવન ટૂલ-કોલિંગ
GPT-4 જેવા મોટા મોડલ્સ સારી રીતે કામ કરે છે. તેમને વધુ કમ્પ્યુટિંગ ક્ષમતાની જરૂર હોય છે.
નાના ઓપન સોર્સ મોડલ્સ ઘણીવાર જટિલ તર્ક (reasoning) કરવામાં મુશ્કેલી અનુભવે છે. મોટા મોડલ્સ ચલાવવા માટે તમારે વિશાળ GPUs ની જરૂર પડે છે.
મેં સ્ટ્રક્ચર્ડ પ્રોમ્પ્ટ્સ દ્વારા નાના મોડલ્સને ટૂલ્સનો ઉપયોગ કરવામાં મદદ કરવા માટે એક રીત પર સંશોધન કર્યું છે. આ સંશોધનનું શીર્ષક "Prompt-Driven Tool-Calling for Lightweight Open Source LLMs" છે.
સમસ્યા:
- નાના મોડલ્સમાં તર્ક કરવાની ક્ષમતાનો અભાવ હોય છે.
- મોટા મોડલ્સ ચલાવવા ખર્ચાળ છે.
- આપણને એવા કાર્યક્ષમ એજન્ટ્સની જરૂર છે જે ઓછા હાર્ડવેર પર ચાલી શકે.
ઉકેલ: મોડલ્સને બધું જ યાદ રાખવા માટે મજબૂર કરવાનું બંધ કરો. મોડલને કંટ્રોલર (controller) માં બદલવા માટે પ્રોમ્પ્ટ્સનો ઉપયોગ કરો.
તે કેવી રીતે કામ કરે છે: પ્રોમ્પ્ટ મોડલને માર્ગદર્શન આપે છે:
- તમારા હેતુ (intent) ને સમજવા માટે.
- સમસ્યાઓને સ્ટેપ્સમાં વિભાજિત કરવા માટે.
- અનુમાન લગાવવાને બદલે યોગ્ય ટૂલ પસંદ કરવા માટે.
વર્કફ્લો આ સ્ટેપ્સ અનુસરે છે: User Question $\rightarrow$ LLM $\rightarrow$ Tool Selection $\rightarrow$ Tool Execution $\rightarrow$ Final Answer.
તથ્યો (facts) સાચા મેળવવા માટે મોડલ કેલ્ક્યુલેટર જેવા ટૂલ્સનો ઉપયોગ કરે છે.
મુખ્ય ફાયદાઓ:
- નાના મોડલ્સ બુદ્ધિશાળી એજન્ટ્સની જેમ કામ કરે છે.
- AI વધુ સુલભ બને છે.
- બુદ્ધિ મોડલના કદને બદલે સિસ્ટમ ડિઝાઇન પર આધારિત હોય છે.
આપણે માત્ર પેરામીટર્સ વધારવાને બદલે ટૂલ ઇન્ટિગ્રેશન (tool integration) વધારવું જોઈએ.
આ કાર્ય AIS2C2 2025 માં પ્રકાશિત કરવામાં આવ્યું છે.
સ્ત્રોત: https://www.aiscindia.co.in/wp-content/uploads/2026/06/ilovepdf_merged-4.pdf
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi