હલ્યુસિનેટ ન કરતા AI એજન્ટ્સ બનાવવું
જો તમે LLMs સાથે કામ કરો છો, તો તમે એક જ સમસ્યાનો સામનો કરો છો. મોડેલ કોઈ કાલ્પનિક ફંક્શન બનાવે છે અથવા ખોટા ટૂલનો ઉપયોગ કરે છે.
ફંક્શન કોલિંગ (Function calling) આ સમસ્યાને ઉકેલવી જોઈએ. તેના બદલે, તે ઘણીવાર તમારા એજન્ટને મોટા પાયે આત્મવિશ્વાસ સાથે ખોટા જવાબો આપવા માટે પ્રેરે છે.
આને સુધારવા માટે, તમારે મોટા મોડેલ્સની નહીં, પણ વધુ સારી આર્કિટેક્ચરની જરૂર છે.
વિશ્વસનીય એજન્ટ્સ બનાવવા માટે આ ચાર પેટર્નનો ઉપયોગ કરો:
- ટુ-સ્ટેજ રાઉટર (two-stage router) નો ઉપયોગ કરો મોડેલને એકસાથે બધા જ ટૂલ્સ ક્યારેય ન આપો. આનાથી સ્કીમા બ્લોટ (schema bloat) થાય છે.
- પહેલા ઇન્ટેન્ટ (intent) વર્ગીકૃત કરવા માટે ઝડપી અને સસ્તા મોડેલનો ઉપયોગ કરો.
- ફક્ત તે જ ટૂલ્સ બતાવો જે તે ઇન્ટેન્ટ સાથે મેળ ખાતા હોય.
- આનાથી ખોટા ટૂલની ભૂલોમાં 70% સુધીનો ઘટાડો થાય છે.
- સ્ટ્રક્ચર્ડ આઉટપુટ (structured outputs) લાગુ કરો પ્રોમ્પ્ટ્સ દ્વારા મોડેલ્સને વેલિડ JSON રિટર્ન કરવાનું કહેવાનું બંધ કરો.
- API લેવલ પર લાગુ કરવામાં આવેલા સ્કીમાનો ઉપયોગ કરો.
- ફોર્મેટની ખાતરી કરવા માટે Pydantic જેવા ટૂલ્સનો ઉપયોગ કરો.
- પ્રોમ્પ્ટ એન્જિનિયરિંગ કરતા કન્સ્ટ્રેઇન્ટ્સ (constraints) હલ્યુસિનેશનને વધુ ઘટાડે છે.
- વેલિડેશન લેયર્સ (validation layers) ઉમેરો દરેક ટૂલ કોલ માટે ત્રણ લેયરની જરૂર છે: યુઝર ઇનપુટ, પ્રી-વેલિડેશન અને પોસ્ટ-વેલિડેશન.
- એક્ઝિક્યુશન પહેલા તમારા સ્કીમા સામે મોડેલના આઉટપુટને વેલિડેટ કરો.
- જો વેલિડેશન નિષ્ફળ જાય, તો એરર મોડેલને પાછી મોકલો.
- જ્યારે મોડેલ્સને એરર ફીડબેક મળે છે, ત્યારે તેઓ 80% વખત તેમની પોતાની પેરામીટર ભૂલો સુધારી લે છે.
- હાર્ડ લિમિટ્સ (hard limits) સેટ કરો અનંત લૂપ્સ (infinite loops) તમારા બજેટને નુકસાન પહોંચાડે છે. મોડેલ ટાઈમઆઉટ ન થાય ત્યાં સુધી લૂપમાં ટૂલ્સ કોલ કરી શકે છે.
- હંમેશા મહત્તમ ઇટરેશન કાઉન્ટ સેટ કરો.
- હંમેશા દરેક કોલ માટે મહત્તમ ટોકન લિમિટ સેટ કરો.
- પ્રોડક્શન માટે હાર્ડ લિમિટ્સ અનિવાર્ય છે.
સ્માર્ટ ઓર્કેસ્ટ્રેશન (orchestration) પૈસા પણ બચાવે છે. વિવિધ કાર્યો માટે વિવિધ મોડેલ્સનો ઉપયોગ કરો:
- ઇન્ટેન્ટ રાઉટિંગ અને આઉટપુટ ફોર્મેટિંગ માટે નાના મોડેલ્સ.
- ટૂલ પસંદગી માટે મિડ-ટિયર મોડેલ્સ.
- જટિલ પ્લાનિંગ માટે ફ્રન્ટિયર મોડેલ્સ.
આ અભિગમ ગુણવત્તા ગુમાવ્યા વિના ખર્ચમાં 10x થી 15x ઘટાડો કરે છે.
સ્થિરતા સુનિશ્ચિત કરવા માટે આ ત્રણ મેટ્રિક્સને ટ્રેક કરો:
- ટૂલ સિલેક્શન એક્યુરેસી (Tool Selection Accuracy): શું તેણે સાચું ટૂલ કોલ કર્યું?
- પેરામીટર વેલિડિટી રેટ (Parameter Validity Rate): શું પેરામીટર્સ તમારા સ્કીમામાં પાસ થયા?
- ટાસ્ક કમ્પ્લીશન રેટ (Task Completion Rate): શું તેણે ખરેખર સમસ્યાનું નિરાકરણ કર્યું?
વિશ્વસનીય AI એ સિસ્ટમ ડિઝાઇન વિશે છે. કન્સ્ટ્રેઇન્ટ્સ, વેલિડેશન અને ગાર્ડરેલ્સ (guardrails) બનાવો.
તમે વિશ્વસનીય એજન્ટ્સ બનાવવા માટે કઈ પેટર્નનો ઉપયોગ કરો છો? તમારા વિચારો નીચે શેર કરો.
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi