તમારા ટીમને આ અઠવાડિયે વધુ સારા AI મોડેલની જરૂર નથી
નવા AI મોડેલ્સ શોધવાનું બંધ કરો. તમને ખરેખર જે અપગ્રેડની જરૂર છે તે તમારો વર્કફ્લો (workflow) છે.
મોટાભાગની ટીમો કયું મોડેલ વધુ સ્માર્ટ લાગે છે તેના પર ધ્યાન કેન્દ્રિત કરે છે. તેઓ નવા રિલીઝનું બેન્ચમાર્કિંગ કરે છે અને બુદ્ધિશાળીતા વિશે દલીલો કરે છે. પરંતુ જો તમે LLMs સાથે કામ કરતા હોવ, તો તમે સાચી પીડા જાણો છો. સમસ્યા ખરાબ કોડની નથી. સમસ્યા ખરાબ અમલીકરણ (execution) ની છે.
તમે આ સમસ્યાઓ જુઓ છો:
- એજન્ટ લૂપ્સ (Agent loops) જે કાર્યના અધવચ્ચે જ અટકી જાય છે.
- એપ્રુવલ પ્રોમ્પ્ટ્સ (Approval prompts) જે લોકોને મૂંઝવણમાં મૂકે છે.
- રીટ્રાય દરમિયાન તૂટી જતી કોન્ટેક્સ્ટ ચેઈન્સ (Context chains).
- ઓટોમેશન તેની સ્ટેટ (state) ગુમાવી દેવાને કારણે માણસોએ સફાઈ કરવી પડે છે.
બુદ્ધિશાળીતા વધી રહી છે, પરંતુ ઓપરેશનલ કંટ્રોલ પાછળ રહી રહ્યો છે. આપણે 'ઓર્કેસ્ટ્રેશન ટેક્સ' (orchestration tax) ના યુગમાં પ્રવેશ કરી રહ્યા છીએ. જો તમે તેના માટે આયોજન નહીં કરો, તો તમારે આઉટેજ (outages) અને સાયલન્ટ ફેઈલ્યોર (silent failures) દ્વારા તેની કિંમત ચૂકવવી પડશે.
AI આઉટપુટ ભાગ્યે જ અંતિમ ઉત્પાદન હોય છે. તે મોટા સિસ્ટમમાં એક મધ્યવર્તી પગલું છે. તમારે આ પ્રશ્નો ઉકેલવા પડશે:
- શું ટાઈમઆઉટ પછી કાર્ય ફરી શરૂ કરી શકાય છે?
- શું આપણે દરેક એપ્રુવલનું ઓડિટ કરી શકીએ છીએ?
- શું આપણે ડુપ્લીકેટ એક્શન વગર સ્ટેપ્સ ફરીથી ચલાવી શકીએ છીએ?
- શું મધ્યમાં કોઈ માણસ કામ સંભાળી શકે છે?
સિનિયર એન્જિનિયરોએ વર્ષો પહેલા પેમેન્ટ્સ અને બેકગ્રાઉન્ડ જોબ્સમાં આ સમસ્યાઓનો ઉકેલ શોધી લીધો હતો. અમે આઈડેમપોટન્સી કીઝ (idempotency keys), ચેકપોઈન્ટ્સ અને ટ્રાન્ઝેક્શન લોગ્સનો ઉપયોગ કરતા હતા. AI એ આ સમસ્યાઓનું સર્જન કર્યું નથી. તેણે ફક્ત તેને ઝડપથી થવા માટે પ્રેરાવ્યું છે.
તમારા એક્ઝિક્યુશન કોન્ટ્રાક્ટ (execution contract) નક્કી કર્યા પહેલા મોડેલ પસંદ ન કરો. તે બ્રેક વગરની કાર માટે રેસિંગ એન્જિન પસંદ કરવા જેવું છે.
આ સ્ટેપ્સનો ઉપયોગ કરીને એક વિશ્વસનીય વર્કફ્લો બનાવો:
AI કામને નાના સ્ટેપ્સમાં વિભાજિત કરો એક મોટો પ્રોમ્પ્ટ વાપરશો નહીં. તેને વિભાજિત કરો: કોન્ટેક્સ્ટ એકત્રિત કરો, ફેરફાર સૂચવો, ચેક્સ ચલાવો, એપ્રુવલ માટે વિનંતી કરો અને ફેરફાર લાગુ કરો.
ડ્યુરેબલ સ્ટોરેજ (durable storage) નો ઉપયોગ કરો સ્ટેટસ, સ્ટેપ્સ અને પ્રયાસોની સંખ્યા ટ્રેક કરવા માટે ડેટાબેઝનો ઉપયોગ કરો. જો વર્કર ક્રેશ થાય, તો તમે સ્ટેટ (state) માંથી રિકવર કરો છો, મેમરીમાંથી નહીં.
આઈડેમપોટન્સી (idempotency) લાગુ કરો ડેટા બદલતા દરેક એક્શન માટે એક સ્ટેબલ કીની જરૂર છે. જો કોઈ સ્ટેપ બે વાર ચાલે, તો પરિણામ સમાન રહેવું જોઈએ.
પરમિશનને ટિયર્સ (tiers) સાથે મેનેજ કરો સતત એપ્રુવલ માંગવાનું બંધ કરો. ટિયર્સ બનાવો:
- Tier 0: રીડ-ઓન્લી કાર્યો (ઓટો-એપ્રુવ્ડ).
- Tier 1: ઓછું જોખમ ધરાવતા રાઈટ્સ (બેચ્ડ એપ્રુવલ).
- Tier 2: ઉચ્ચ-અસરકારક કાર્યો (હ્યુમન ચેકપોઈન્ટ).
ઓપરેશનલ મેટ્રિક્સ ટ્રેક કરો ફક્ત લેટન્સી (latency) અને ખર્ચ પર ધ્યાન આપવાનું બંધ કરો. ટાઈમઆઉટ રેટ, રીટ્રાય સક્સેસ અને રોલબેક ફ્રીક્વન્સી ટ્રેક કરો.
શ્રેષ્ઠ AI ટીમો મેજિક પ્રોમ્પ્ટ્સ વિશે બડાઈ નહીં મારે. તેઓ બોરિંગ, ડ્યુરેબલ અને ઓબ્ઝર્વેબલ પાઈપલાઈન્સ ચલાવશે. તેમનો ફાયદો મોડેલ નથી. તેમનો ફાયદો શિસ્તબદ્ધ સિસ્ટમ્સ એન્જિનિયરિંગ છે.
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-29l4
Optional learning community: https://t.me/GyaanSetuAi