એક ઝડપી LLM એ મને ધારણાઓ વિશે શું શીખવ્યું

મેં એક કલાક સુધી એક જટિલ કાર્ય માટે એક સસ્તું, ઝડપી LLM ચલાવ્યું. તે નિષ્ફળ ગયું નહીં.

મોટાભાગના લોકો વિચારે છે કે નબળા મોડલ્સ લાંબા કાર્યોમાં નિષ્ફળ જાય છે. તેઓ રસ્તો ભટકી જાય છે અથવા અધવચ્ચેથી હાર માની લે છે. પરંતુ આ મોડલ તેના માર્ગ પર જ રહ્યું. આવું એટલા માટે થયું કારણ કે મેં તેને deliverables ની એક યાદી આપી હતી.

મને લાગ્યું કે આ deliverables સચોટતામાં મદદ કરશે. હું ખોટો હતો.

એક અભ્યાસ દર્શાવે છે કે deliverables મોડલને વધુ સચોટ બનાવતા નથી. તેઓ મોડલને વધુ verifiable બનાવે છે. મોડલ તેના કામનું વધુ સારી રીતે દસ્તાવેજીકરણ કરે છે. તે તમારા માટે તપાસવા માટે પુરાવા છોડી દે છે.

સોફ્ટવેરમાં બે પ્રકારની ભૂલો હોય છે:

  • Execution errors: અદલાબદલી કરેલું કોમા અથવા ચૂકી ગયેલું edge case. તમે તેને ટેસ્ટ અને લિન્ટિંગ દ્વારા સુધારી શકો છો.
  • Assumption errors: ખોટી જગ્યાએ બોર્ડર મૂકવી. આ સુધારવી ઘણી વધુ મુશ્કેલ છે.

પ્રોસેસ execution errors માં મદદ કરે છે. તે assumption errors ને ઉકેલતી નથી. જો તમે અને મોડલ બંને એક જ blind spot ધરાવતા હોવ, તો તમારું રિવ્યુ પણ નિષ્ફળ જશે.

AI આ ભૂલોના ગણિતને બદલી નાખે છે.

ભૂતકાળમાં, માણસ ધીમેથી ભૂલો કરતો હતો. આનાથી તમને નોંધવા માટે સમય મળતો હતો. હવે, AI ઝડપથી ભૂલો કરે છે. તમે નોંધો તે પહેલાં, એક મોડલ એક ખોટી ધારણા પર ત્રણ કલાકનો સંપૂર્ણ કોડ બનાવી શકે છે.

મોડલ જેટલું વધુ સક્ષમ દેખાય છે, તમે તેના પર તેટલો જ વધુ વિશ્વાસ કરો છો. તમે તેને વધુ લાંબા સમય સુધી ચાલવા દો છો. તમે વારંવાર તપાસવાનું બંધ કરી દો છો. આ એક જાળ છે. ખોટી ધારણા કોઈ ચેતવણીની લાઈટ નથી ઝબકાવતી. તે ખૂબ મોડું થાય ત્યાં સુધી પ્રગતિ જેવું જ લાગે છે.

ઉદ્યોગ આને વધુ પ્રોસેસ દ્વારા સુધારવાનો પ્રયાસ કરે છે. આપણે વધુ specs અને વધુ પ્લાન ઉમેરીએ છીએ. આ માત્ર વધુ overhead છે. તે assumption સમસ્યા માટેનું એક execution સાધન છે.

આપણે મોડલ કેટલી વાર સાચું છે તે માપવાનું બંધ કરવું જોઈએ. આપણે એ માપવાની જરૂર છે કે આપણે તેને પકડતા પહેલા એક ખોટી ધારણા કેટલા સમય સુધી ટકી રહે છે.

પ્રોડક્શનમાં, આપણે આને MTTD કહીએ છીએ: Mean Time To Detect.

આપણે દરેક ભૂલને રોકી શકતા નથી. આપણે માત્ર ભૂલોને સુધારવી સસ્તી બનાવી શકીએ છીએ. તમે તેને વહેલી પકડીને આવું કરી શકો છો.

ધ્યેય માત્ર વધુ સ્માર્ટ મોડલ શોધવાનો નથી. ધ્યેય એ નક્કી કરવાનો છે કે તમારે ક્યાં હજુ પણ નિયંત્રણમાં રહેવાની જરૂર છે.

સ્ત્રોત: https://dev.to/g_correa/what-a-fast-llm-taught-me-about-assumptions-oe

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi