𝗔𝗴𝗲𝗻𝘁 𝗔𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗜𝘀 𝗔 𝗖𝗼𝗺𝗽𝘂𝘁𝗲 𝗔𝗹𝗹𝗼𝗰𝗮𝘁𝗶𝗼𝗻 𝗣𝗿𝗼𝗯𝗹𝗲𝗺
તાજેતરમાં ત્રણ સ્વતંત્ર જૂથો AI એજન્ટ ડિઝાઇન માટે એક જ નિષ્કર્ષ પર પહોંચ્યા છે.
Anthropic એ એડવાઈઝર સ્ટ્રેટેજી (advisor strategy) પર એક બ્લોગ પોસ્ટ બહાર પાડી છે. તેઓ મુખ્ય લૂપ ચલાવવા માટે સસ્તા મોડેલનો ઉપયોગ કરે છે. જ્યારે સસ્તું મોડેલ અટકી જાય ત્યારે જ તેઓ મોંઘા મોડેલનો ઉપયોગ કરે છે. BrowseComp માં આ સેટઅપ દ્વારા બધું કરવા માટે ટોપ-ટિયર મોડેલ વાપરવાના ખર્ચના માત્ર 15% ખર્ચે 41.2% ચોકસાઈ પ્રાપ્ત કરવામાં આવી હતી.
Shopify ના Tobi Lutke એ X પર સમાન સેટઅપ શેર કર્યું છે. તેઓ સંશોધન માટે લોકલ મોડેલ ચલાવે છે અને એડવાઈઝર તરીકે ફ્રન્ટિયર મોડેલ (frontier model) નો ઉપયોગ કરે છે. ડેવલપર્સે થોડા જ કલાકોમાં આના ઓપન-સોર્સ વર્ઝન બનાવ્યા હતા.
HazyResearch એ કમ્પ્રેસર-પ્રેડિક્ટર ફ્રેમવર્ક (compressor-predictor framework) પર એક પેપર પ્રકાશિત કર્યું છે. એક નાનું મોડેલ મોટા મોડેલ માટે કોન્ટેક્સ્ટ (context) ને સંક્ષિપ્ત કરે છે જેથી તે તર્ક કરી શકે. તેમની સિસ્ટમે 26% ખર્ચે 99% ચોકસાઈ પુનઃપ્રાપ્ત કરી હતી.
આ સમાનતા કોઈ સંયોગ નથી. તે એક ચોક્કસ ડિઝાઇન નિયમનું પાલન કરે છે: કોસ્ટ-કર્વ ફ્રેમ (cost-curve frame).
મેં આ શ્રેણીમાં ત્રણ સ્તરો દ્વારા આ ફ્રેમ વિશે દલીલ કરી છે:
- લેયર 1 (Retrieval): મોટાભાગના કોડ કાર્યો માટે tool-loops શા માટે RAG કરતા વધુ સારા છે.
- લેયર 2 (Storage): સિમ્બોલ ગ્રાફ્સ માટે SQLite શા માટે વેક્ટર ડેટાબેઝ કરતા વધુ સારું છે.
- લેયર 3 (Orchestration): મોડેલ પસંદગી માટે એડવાઈઝર સ્ટ્રેટેજી શા માટે વિજેતા છે.
તર્ક સમાન છે. મોટાભાગના એજન્ટ કાર્યોમાં ઘણા ઓછા મૂલ્યના ઓપરેશન્સ અને થોડા ઉચ્ચ મૂલ્યના નિર્ણયોનો સમાવેશ થાય છે.
જો તમે દરેક ટોકન માટે મોંઘા મોડેલનો ઉપયોગ કરો છો, તો તમે કોન્ટેક્સ્ટ વાંચવા અથવા ટેક્સ્ટ ફોર્મેટ કરવા જેવા રૂટિન કામમાં પૈસા બગાડો છો. એડવાઈઝર સ્ટ્રેટેજી આ માર્ગોને અલગ કરે છે. તમે મોટાભાગના કામ માટે સસ્તા એક્ઝિક્યુટર (executor) નો ઉપયોગ કરો છો અને માત્ર મહત્વપૂર્ણ નિર્ણયના મુદ્દાઓ માટે જ મોંઘા એડવાઈઝરનો ઉપયોગ કરો છો.
જો તમે એજન્ટ બનાવી રહ્યા હોવ, તો આ ત્રણ એન્જિનિયરિંગ પડકારોથી સાવધ રહો:
- Data Egress: રિમોટ એડવાઈઝરને કોન્ટેક્સ્ટ મોકલવાથી સંવેદનશીલ ડેટા લીક થઈ શકે છે. રિડેક્શન લેયર (redaction layer) નો ઉપયોગ કરો.
- Escalation Policy: એડવાઈઝરને ક્યારે બોલાવવો તે નક્કી કરવું મુશ્કેલ છે. ખૂબ વહેલું કરવાથી પૈસા બગડે છે. ખૂબ મોડું કરવાથી સમય બગડે છે.
- Handoff Design: એડવાઈઝરે ટૂંકી યોજના આપવી જોઈએ, સંપૂર્ણ ઉકેલ નહીં.
આ પેટર્ન વાસ્તવિક છે કારણ કે તે કાર્યક્ષમ છે. જે ટોકન્સને તેની જરૂર નથી તેના માટે ફ્રન્ટિયર-મોડેલના દરો ચૂકવવાનું બંધ કરો.
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi