આ અઠવાડિયે તમારી ટીમને વધુ સારા AI મોડલની જરૂર નથી
તમારી ટીમને નવા AI મોડલની જરૂર નથી. તેમને વધુ સારા વર્કફ્લો (workflows) ની જરૂર છે.
લેટેસ્ટ મોડલ શોધવાનું બંધ કરો. તમારા એક્ઝેક્યુશન (execution) ને એન્જિનિયર કરવાનું શરૂ કરો. મોટાભાગની ટીમો એક જ પ્રકારની સમસ્યાઓનો સામનો કરે છે. એજન્ટ લૂપ્સ (Agent loops) કામની વચ્ચે જ અટકી જાય છે. એપ્રુવલ પ્રોમ્પ્ટ્સ (Approval prompts) લોકોને મૂંઝવણમાં મૂકે છે. રિટ્રાય દરમિયાન કોન્ટેક્સ્ટ ચેઈન્સ (Context chains) તૂટી જાય છે. ઓટોમેશન તેની સ્ટેટ (state) ગુમાવી દેતું હોવાથી માણસો ભૂલો સુધારવામાં કલાકો વિતાવે છે.
સમસ્યા હવે બુદ્ધિની નથી. સમસ્યા એક્ઝેક્યુશનની છે.
આપણે ઓર્કેસ્ટ્રેશન ટેક્સ (orchestration tax) ના યુગમાં પ્રવેશ કરી રહ્યા છીએ. જો તમે તેના માટે આયોજન નહીં કરો, તો તમારે આઉટેજ (outages) અને સાયલન્ટ ફેઈલ્યોર (silent failures) દ્વારા તેની કિંમત ચૂકવવી પડશે. જ્યારે એન્જિનિયરો મોડી રાત્રે બોટ્સનું ધ્યાન રાખે છે (babysit bots), ત્યારે તમારે આ કિંમત ચૂકવવી પડે છે.
AI આઉટપુટ ભાગ્યે જ અંતિમ ઉત્પાદન હોય છે. તે મોટા સિસ્ટમમાં એક મધ્યવર્તી પગલું છે. તે ticket triage, PR drafting, અને test generation માં મદદ કરે છે.
તમારે આ પ્રશ્નોના જવાબ આપવા પડશે:
- શું ટાઈમઆઉટ પછી કાર્ય ફરી શરૂ કરી શકાય છે?
- શું આપણે ઓડિટ કરી શકીએ કે કોણે ફેરફારને મંજૂરી આપી હતી?
- શું આપણે ડુપ્લીકેટ સાઈડ ઈફેક્ટ્સ (side effects) પેદા કર્યા વિના કાર્ય ફરીથી ચલાવી શકીએ છીએ?
- શું કોઈ માણસ ફરીથી શરૂ કર્યા વિના કામની વચ્ચે કંટ્રોલ લઈ શકે છે?
સિનિયર એન્જિનિયરો પહેલેથી જ જાણે છે કે આ કેવી રીતે ઉકેલવું. અમે વર્ષો પહેલા પેમેન્ટ્સ અને બેકગ્રાઉન્ડ જોબ્સ માટે આ સમસ્યાઓ ઉકેલી હતી. અમે idempotency keys, checkpoints, અને transaction logs નો ઉપયોગ કરીએ છીએ. AI ફક્ત આ નિષ્ફળતાઓ વધુ ઝડપથી લાવે છે.
મોડલની ગુણવત્તા એ સમીકરણનો માત્ર એક ભાગ છે. તૂટેલા વર્કફ્લો પર એક ઉત્તમ મોડલ અરાજકતા પેદા કરે છે. મજબૂત વર્કફ્લો પર એક સારો મોડલ મૂલ્ય (value) ઊભું કરે છે.
માત્ર અંદાજો (vibes) પાછળ દોડવાને બદલે એક વ્યવહારુ પ્લેબુક (playbook) બનાવો:
AI કામને સ્પષ્ટ પગલાઓમાં વિભાજિત કરો.
collect_context,propose_change, અનેrun_checksજેવા સ્ટેપ્સનો ઉપયોગ કરો. એક જ વિશાળ પ્રોમ્પ્ટને આખી પ્રક્રિયા ચલાવવા ન દો.ટકાઉપણું (durability) માટે ડેટાબેઝનો ઉપયોગ કરો. તમારા વર્કફ્લો સ્ટેટસ અને ઇવેન્ટ લોગ્સને Postgres જેવા ડેટાબેઝમાં સ્ટોર કરો. જો વર્કર ક્રેશ થાય, તો તમે મેમરીને બદલે સ્ટેટ (state) માંથી રિકવર કરી શકો છો.
Idempotency લાગુ કરો. ડેટા બદલતા દરેક એક્શન માટે એક સ્ટેબલ કી (stable key) ની જરૂર છે. જો કોઈ સ્ટેપ બે વાર ચાલે, તો પરિણામ સમાન રહેવું જોઈએ.
પરમિશનને ટાયર્સ (tiers) સાથે મેનેજ કરો. સતત મંજૂરી ન માંગો. રીડ-ઓન્લી (read-only) કાર્યો, લો-રિસ્ક રાઈટ્સ (low-risk writes), અને હાઈ-ઈમ્પેક્ટ ફેરફારો માટે અલગ ટાયર્સ બનાવો.
ઓપરેશનલ મેટ્રિક્સને ટ્રેક કરો. ફક્ત લેટન્સી (latency) અને ખર્ચને ટ્રેક કરવાનું બંધ કરો. રિટ્રાય સક્સેસ રેટ, હ્યુમન ઇન્ટરવેન્શન પોઈન્ટ્સ, અને રોલબેક ફ્રીક્વન્સીને ટ્રેક કરો.
શ્રેષ્ઠ AI ટીમો ઓટોનોમસ એજન્ટ્સ (autonomous agents) વિશે બડાઈ નહીં મારે. તેઓ ટકાઉ અને અવલોકનક્ષમ (observable) પાઈપલાઈન્સ બનાવશે. તેમની શક્તિ જાદુઈ પ્રોમ્પ્ટ્સ નહીં, પરંતુ શિસ્તબદ્ધ સિસ્ટમ્સ એન્જિનિયરિંગ હશે.
મોડલ્સ દર મહિને વધુ સ્માર્ટ બનતા જાય છે. તમારો ફાયદો એવા વર્કફ્લો બનાવવાથી આવશે જે વસ્તુઓ ખોટી પડે ત્યારે ગભરાઈ ન જાય.
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-2og7
Optional learning community: https://t.me/GyaanSetuAi