GLM-5.2 કોડ રિવ્યુ તમારા પ્રોમ્પ્ટ્સ પર આધારિત છે

Z.ai નું GLM-5.2 એક લોકપ્રિય open-weight મોડેલ છે. અમે તે કોડ કેટલી સારી રીતે રિવ્યુ કરે છે તે જોવા માટે તેનું પરીક્ષણ કર્યું. અમે જોયું કે તેની ગુણવત્તા તમે તેની સાથે કેવી રીતે વાત કરો છો તેના પર બદલાય છે.

અમે બે પરીક્ષણો કર્યા. પ્રથમ પરીક્ષણમાં, અમે 16 બગ્સ (bugs) સાથેના એક સાદા TypeScript backend નો ઉપયોગ કર્યો. બીજા પરીક્ષણમાં, અમે 10 સૂક્ષ્મ બગ્સ સાથેની એક જટિલ સિસ્ટમ બનાવી. આ બગ્સને સમજવા માટે એપ્લિકેશનના વિવિધ ભાગો એકબીજા સાથે કેવી રીતે કામ કરે છે તે સમજવું જરૂરી હતું.

અમે જે શીખ્યા તે અહીં છે:

  • રીઝનિંગ પ્રયાસ (reasoning effort) કરતા પ્રોમ્પ્ટનું શબ્દપ્રયોગ વધુ મહત્વનું છે. લો-રીઝનિંગથી હાઈ-રીઝનિંગ મોડ પર સ્વિચ કરવા કરતાં પ્રોમ્પ્ટ બદલવાથી પરિણામોમાં વધુ ફેરફાર થયો.
  • કડક (strict) પ્રોમ્પ્ટ્સ ઉલટા અસરો કરી શકે છે. જો તમે મોડેલને "production PR ને બ્લોક અથવા એપ્રૂવ કરો" એમ કહો છો, તો તે સુરક્ષા (security) પર ધ્યાન કેન્દ્રિત કરે છે. તે hardcoded secrets અને નબળા hashing શોધી કાઢે છે. પરંતુ તમે જે વાસ્તવિક લોજિક બગ્સ શોધવા માંગતા હોવ તે તે ચૂકી જાય છે.
  • લોકલ બગ્સ GLM-5.2 માટે સરળ છે. તે સિંગલ ફંક્શનની અંદરની ભૂલો પકડી લે છે, જેમ કે બ્રોકન પરમિશન ગાર્ડ અથવા ખોટો વેરિએબલ.
  • સિસ્ટમ-વાઈડ બગ્સ GLM-5.2 માટે મુશ્કેલ છે. તે એવા નિયમો સાથે સંઘર્ષ કરે છે જે અનેક ફાઇલોમાં ફેલાયેલા હોય છે. ઉદાહરણ તરીકે, જ્યારે archived tasks સર્ચ રિઝલ્ટ અને એક્સપોર્ટ્સમાં લીક થયા હતા, ત્યારે તે તેને પકડી શક્યું નહીં.
  • Frontier models વધુ વિશ્વસનીય છે. GPT-5.5 અને Opus 4.8 એ એક જ વખતમાં જટિલ, cross-route બગ્સ પકડી લીધા હતા. GLM-5.2 આ કાર્યોમાં અસ્થિર (inconsistent) છે.

GLM-5.2 નો અસરકારક રીતે ઉપયોગ કેવી રીતે કરવો:

  • તેનો ઉપયોગ લોકલ લોજિક માટે કરો. તે એક ફંક્શનની અંદરની ભૂલો શોધવા માટે ઉત્તમ છે.
  • તમારી સૂચનાઓમાં ચોક્કસ રહો. "strict" રિવ્યુ માંગવાને બદલે, તેને વિવિધ રૂટ્સમાં સુસંગતતા (consistency) તપાસવા માટે કહો.
  • તમે જે વર્તણૂક (behaviors) તપાસવા માંગો છો તેનું નામ આપો. તેને કહો કે તે ચકાસે કે સર્ચ, એક્સપોર્ટ્સ અને લિસ્ટ બધું જ ડેટાને એક જ રીતે હેન્ડલ કરે છે કે નહીં.
  • હાઈ-સ્ટેક્સ (high-stakes) કોડ માટે એક જ વખતમાં પરિણામની અપેક્ષા ન રાખો. પરિણામો બદલાતા રહેતા હોવાથી, તમારે તેને અનેક વાર ચલાવવું જોઈએ અથવા જટિલ ફેરફારો માટે વધુ શક્તિશાળી મોડેલનો ઉપયોગ કરવો જોઈએ.

GLM-5.2 એક સક્ષમ સાધન છે, પરંતુ તમારે કાર્ય મુજબ પ્રોમ્પ્ટ સેટ કરવો પડશે.

Source: https://dev.to/kilocode/glm-52s-code-reviews-are-only-as-good-as-your-prompt-5233

Optional learning community: https://t.me/GyaanSetuAi