𝗣𝗿𝗲-𝗟𝗮𝘂𝗻𝗰𝗵 𝗔𝗜 𝗦𝗶𝗺𝘂𝗹𝗮𝘁𝗶𝗼𝗻𝘀 𝗔𝗿𝗲 𝗧𝗵𝗲 𝗡𝗲𝘄 𝗠𝗼𝗱𝗲𝗹 𝗦𝗮𝗳𝗲𝘁𝘆 𝗖𝗵𝗲𝗰𝗸
AI સુરક્ષા બદલાઈ રહી છે. તે ચેતવણીના લેબલ્સથી બદલાઈને રિહર્સલ (પૂર્વ-તૈયારી) તરફ આગળ વધી રહી છે.
OpenAI એ તાજેતરમાં રિલીઝ પહેલા મોડેલના વર્તનને અનુમાનિત કરવા પરના કાર્ય વિશે માહિતી શેર કરી છે. તેઓ લોકો અને હુમલાખોરો વાસ્તવિક જીવનમાં મોડેલ્સનો ઉપયોગ કેવી રીતે કરે છે તેની નકલ કરવા માટે સિમ્યુલેશન્સનો ઉપયોગ કરે છે.
આ તમામ બિલ્ડર્સ માટે એક સંકેત છે. તમારે મોડેલ્સ લોન્ચ કરવાનું અને તેનાથી થતા નુકસાનનું નિરીક્ષણ કરવાનું બંધ કરવું જોઈએ. તમારે લોન્ચ કરતા પહેલા તે નુકસાનનું સિમ્યુલેશન શરૂ કરવું જોઈએ.
પ્રમાણભૂત મૂલ્યાંકનો (Standard evaluations) બેન્ચમાર્ક અને રેડ-ટીમિંગ પર ધ્યાન કેન્દ્રિત કરે છે. આમાં એક મહત્વપૂર્ણ મુદ્દો રહી જાય છે. વાસ્તવિક વર્કફ્લોમાં મોડેલ્સ અલગ રીતે વર્તે છે.
હેલ્થકેરમાં ચેટબોટ, રિપોઝિટરી એક્સેસ ધરાવતા કોડિંગ એજન્ટ કરતા અલગ રીતે કામ કરે છે. મોડેલ સમાન રહે છે, પરંતુ પરમિશન અને વપરાશકર્તાની અપેક્ષાઓ બદલાય છે.
ડિપ્લોયમેન્ટ સિમ્યુલેશન સંપૂર્ણ પરિસ્થિતિનું પરીક્ષણ કરે છે. તમે પૂછો છો: "જ્યારે આ વપરાશકર્તા આ દબાણ હેઠળ આ સાધનનો ઉપયોગ કરે છે ત્યારે શું થાય છે?"
આ કરવા માટે તમારે કોઈ વિશાળ લેબની જરૂર નથી. તમે નાની શરૂઆત કરી શકો છો.
તમારા AI ઉત્પાદનો માટે આ પગલાંનો ઉપયોગ કરો:
- માત્ર સિંગલ પ્રોમ્પ્ટ્સ જ નહીં, પરંતુ વાસ્તવિક યુઝર જોબ્સ (વપરાશકર્તાના કાર્યો) પર આધારિત ટેસ્ટ લખો.
- તમારા ટેસ્ટમાં ફાઇલ રાઇટ, ઇમેઇલ અથવા પેમેન્ટ્સ જેવી ટૂલ એક્સેસનો સમાવેશ કરો.
- AI ભૂલો અથવા ખૂટતા સંદર્ભમાંથી કેવી રીતે રિકવર થાય છે તેનું પરીક્ષણ કરો.
- તમારા ચોક્કસ ઉત્પાદનને અનુરૂપ એડવર્સરીયલ (adversarial) ઉદાહરણોનો ઉપયોગ કરો.
- 'નજીકના જોખમો' (near misses) ને લોગ કરો અને તેને નવા ટેસ્ટમાં ફેરવો.
AI એજન્ટ્સ માટે આ અત્યંત મહત્વપૂર્ણ છે. ચેટબોટ લખાણમાં ભૂલો કરે છે. એજન્ટ એક્શન લેતી વખતે ભૂલો કરે છે. આ તમારા જોખમના સ્તરને બદલી નાખે છે.
એક વિશ્વસનીય સિસ્ટમ બનાવવા માટે, આ ફ્રેમવર્ક અનુસરો:
- જોખમી ક્રિયાપદોની યાદી બનાવો: delete, send, publish, charge, અથવા approve.
- રોલ-આધારિત સિનારીયો બનાવો: એક શિખાઉ, એક પાવર યુઝર અને એક દુષ્ટ (malicious) વપરાશકર્તાનું પરીક્ષણ કરો.
- અસ્પષ્ટ સંદર્ભનો ઉપયોગ કરો: AI ને જૂનો ડેટા અથવા વિરોધાભાસી સૂચનાઓ આપો.
- હાર્ડ સ્ટોપ્સ ઉમેરો: અફર (irreversible) ક્રિયાઓ પહેલા માનવીય સમીક્ષાની જરૂરિયાત રાખો.
- બોરિંગ રિલાયબિલિટીને ટ્રેક કરો: મોડેલ અનિશ્ચિતતાને કેવી રીતે હેન્ડલ કરે છે તે માપો.
ધ્યેય AI ને ડરપોક બનાવવાનો નથી. ધ્યેય તેને અનુમાનિત (predictable) બનાવવાનો છે.
કોઈ પણ સિમ્યુલેશન સંપૂર્ણ હોતું નથી. વપરાશકર્તાઓ હંમેશા એવા રસ્તાઓ શોધી કાઢશે જેની તમે આગાહી ન કરી હોય. તમારે સ્તરોની જરૂર છે: સિમ્યુલેશન્સ, મર્યાદિત રોલઆઉટ્સ, મોનિટરિંગ અને ઝડપી રોલબેક પાથ.
મોડેલ ઇવેલ્યુએશન સોફ્ટવેર એન્જિનિયરિંગ જેવું બની રહ્યું છે. તે સિનારીયો-સંચાલિત અને વર્કફ્લો-જાગૃત હોવું જોઈએ.
તમારે રિસર્ચ લેબની જરૂર નથી. તમારે વાસ્તવિક યુઝર જોબ્સ અને AI ને માત્ર ટેક્સ્ટ જનરેટર તરીકે નહીં, પરંતુ એક એક્ટર (કર્તા) તરીકે ટેસ્ટ કરવાની શિસ્તની જરૂર છે.
સ્ત્રોત: https://dev.to/jenueldev/pre-launch-ai-simulations-are-becoming-the-new-model-safety-check-107e
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi