AI એજન્ટ્સ જે API કોલ કરી શકે છે, સિસ્ટમ કમાન્ડ ચલાવી શકે છે અથવા ફાઇલોમાં ફેરફાર કરી શકે છે, તેઓ હવે વપરાશકર્તાઓના વતી કામ કરે છે. જ્યારે તે એજન્ટો કોઈ વિનંતીને ખૂબ જ શાબ્દિક રીતે લે છે – જેમ કે "સોનાનો પહાડ" પહોંચાડી દેવો જે ઘરને તોડી નાખે છે – ત્યારે તેનું પરિણામ વિનાશક, અનૈતિક અથવા બિનઉપયોગી હોઈ શકે છે. સંશોધકો Genie coefficient નામના નવા સૂચવેલા મેટ્રિક દ્વારા આ ખામીને પૂરી કરી રહ્યા છે, જે એજન્ટનું આઉટપુટ વપરાશકર્તાના વાસ્તવિક ઈરાદાથી કેટલું વિચલિત થાય છે તે માપે છે.

અન્ડરસ્પેસિફિકેશન (Underspecification) અત્યારે શા માટે મહત્વનું છે

માત્ર ચેટ કરવા માટેના બોટ્સથી લઈને વાસ્તવિક દુનિયામાં કાર્ય કરી શકે તેવા એજન્ટ્સ તરફનું પરિવર્તન ભાષા-મોડલના પ્રશ્નને સુરક્ષાના પ્રશ્નમાં ફેરવે છે. એક મોડલ હજુ પણ પ્રવાહી લખાણ જનરેટ કરી શકે છે, પરંતુ એકવાર તે API કોલ અથવા શેલ કમાન્ડ આપવાનું શરૂ કરે, પછી શાબ્દિક અર્થઘટન વાસ્તવિક દુનિયામાં નુકસાન પહોંચાડી શકે છે. કારણ કે મોડલમાં 'પ્રાગ્મેટિક્સ' (pragmatics) નો અભાવ હોય છે – એટલે કે સંદર્ભ, વ્યાજબી અપેક્ષાઓ અને અણકહી મર્યાદાઓને અનુમાન લગાવવાની ક્ષમતા – તે શબ્દોનું પાલન કરી શકે છે પરંતુ તેની પાછળના હેતુને નકારી શકે છે. "જીની" (genie) નું ઉદાહરણ આને સમજાવે છે: એક એવી ઈચ્છા પૂરી કરવી જે શાબ્દિક વિનંતીને સંતોષે છે પરંતુ ઈચ્છા કરનારના ઊંડા લક્ષ્યને અવગણે છે.

Genie coefficient શું માપે છે

આ કોએફિશિયન્ટ કોઈ એક સિંગલ બેન્ચમાર્ક નંબર નથી; તે ઈરાદા હેઠળના પરિણામ અને એજન્ટના વાસ્તવિક વર્તન વચ્ચેના અંતરનું મૂલ્યાંકન કરવા માટેનું એક માળખું છે. તે ચાર સ્તંભો પર આધારિત છે:

  • ડોમેન-સ્પેસિફિક બેન્ચમાર્ક (Domain-specific benchmarks) જે એજન્ટને ચોક્કસ ક્ષેત્રમાં સામનો કરવા પડતા કાર્યોને પ્રતિબિંબિત કરે છે.
  • સિમ્યુલેટેડ વાસ્તવિક દુનિયાના વાતાવરણ (Simulated real-world environments) જ્યાં શોર્ટકટ્સ, એજ કેસીસ (edge cases) અને અનિચ્છનીય આડઅસરો સામે આવે છે.
  • AI ક્રિયાઓ માટે વ્યાજબી વ્યક્તિનું ધોરણ (reasonable-person standard), જે કાયદાકીય ખ્યાલોમાંથી લેવામાં આવ્યું છે કે સમાન પરિસ્થિતિમાં એક સમજદાર વ્યક્તિ શું કરશે.
  • મોડલ અને સોફ્ટવેર હાર્નેસનું સંયુક્ત મૂલ્યાંકન (Joint evaluation of model and software harness), જે સ્વીકારે છે કે આસપાસના કોડમાં રહેલી ભૂલો (bugs) મોડલની ભૂલો જેટલી જ જોખમી હોઈ શકે છે.

આ તત્વોનો ઉપયોગ કરવાથી ડેવલપર્સ એવો Genie coefficient નક્કી કરી શકે છે જે સેમેન્ટિક સચોટતા અને પ્રાગ્મેટિક સુરક્ષા બંનેને કેપ્ચર કરે છે.

ડેવલપર્સ અને વપરાશકર્તાઓ માટે જોખમો

ઉચ્ચ કોએફિશિયન્ટ એ સંકેત આપે છે કે એજન્ટ કમાન્ડના શબ્દોનું પાલન કરશે પરંતુ તેના મૂળ ભાવનું ઉલ્લંઘન કરશે, જેનાથી વપરાશકર્તાઓ આર્થિક નુકસાન, ડેટા બ્રીચ અથવા નિયમનકારી દંડના સંપર્કમાં આવી શકે છે. ઓછો કોએફિશિયન્ટ દર્શાવે છે કે સિસ્ટમ સૂચિત મર્યાદાઓનું સન્માન કરે છે, જે ફાઇનાન્સ, હેલ્થકેર અથવા મહત્વપૂર્ણ ઈન્ફ્રાસ્ટ્રક્ચર જેવા ઉચ્ચ જોખમ ધરાવતા ક્ષેત્રોમાં તેનો ઉપયોગ વધુ વ્યવહારુ બનાવે છે.

આ મેટ્રિક પ્રોડક્ટ ટીમોને ડાયગ્નોસ્ટિક ટૂલ પણ આપે છે: તેઓ ઇન્સ્ટ્રક્શન-લેવલની નિષ્ફળતાઓ (મોડલે પ્રોમ્પ્ટ સમજવામાં ભૂલ કરી) અને ટેકનિકલ ગેરવર્તણૂક (આસપાસના કોડ દ્વારા API કોલ ખોટી રીતે રૂટ થયો) ને અલગ કરી શકે છે. ડિબગિંગ, નિયમનકારી રિપોર્ટિંગ (compliance reporting) અને ખર્ચ ફાળવણી માટે આ તફાવત મહત્વપૂર્ણ છે.

વિરોધ પક્ષના મુદ્દાઓ અને ખુલ્લા પ્રશ્નો

ટીકાકારો કહે છે કે ઈરાદાનું પ્રમાણીકરણ કરવું એ વ્યક્તિલક્ષી છે અને તે ડેવલપમેન્ટ સાયકલને ધીમી કરી શકે છે. દરેક ડોમેન માટે "વ્યાજબી વ્યક્તિ" નો બેઝલાઇન બનાવવામાં વ્યાપક કાયદાકીય અને નૈતિક નિષ્ણાતતાની જરૂર પડી શકે છે, જે મોડલ મૂલ્યાંકનના ખર્ચમાં વધારો કરે છે. એવો પણ જોખમ છે કે ટીમો આ કોએફિશિયન્ટને ઊંડા સિસ્ટમ રિડિઝાઇન માટેના માર્ગદર્શક તરીકે નહીં, પરંતુ માત્ર એક ચેકબોક્સ તરીકે ગણે.

આગળ શું જોવું

આગળના પગલાઓમાં Genie coefficient ને હાલના AI ટેસ્ટિંગ પાઇપલાઇન્સમાં જોડવાનો અને તેને ફીડ કરતા બેન્ચમાર્ક સ્યુટ્સનું માનકીકરણ કરવાનો સમાવેશ થાય છે. જો ઉદ્યોગ જૂથો તેને સુરક્ષા બેઝલાઇન તરીકે અપનાવે છે, તો એજન્ટો ગ્રાહકો સુધી પહોંચે તે પહેલાં પ્રમાણપત્ર કાર્યક્રમોમાં ચોક્કસ થ્રેશોલ્ડ કોએફિશિયન્ટની જરૂર પડી શકે છે. સંશોધકો કદાચ વ્યાજબી-વ્યક્તિની વ્યાખ્યાને વધુ શુદ્ધ કરશે અને વિશ્વસનીય માપન માટે જરૂરી સિમ્યુલેટેડ વાતાવરણ જનરેટ કરવા માટે સ્વચાલિત રીતો શોધશે.

મુખ્ય વાત: જેમ જેમ AI એજન્ટો ટેક્સ્ટથી એક્શન તરફ આગળ વધે છે, તેમ વપરાશકર્તાઓ ખરેખર શું ઈચ્છે છે – માત્ર તેઓ શું કહે છે તે જ નહીં – તે તેઓ કેટલી સારી રીતે સમજે છે તેનું માપન કરવું આવશ્યક બની જાય છે. Genie coefficient તે માપનને વ્યવહારમાં લાવવા માટે એક નક્કર અને સતત વિકસતી રીત પ્રદાન કરે છે.