GLM-5.2 कोड रिव्ह्यू तुमच्या प्रॉम्प्ट्सवर अवलंबून असतात

Z.ai कडून आलेला GLM-5.2 हा एक लोकप्रिय open-weight मॉडेल आहे. तो कोड किती चांगल्या प्रकारे रिव्ह्यू करतो हे पाहण्यासाठी आम्ही त्याची चाचणी घेतली. आम्हाला असे आढळले की, तुम्ही त्याच्याशी कशा प्रकारे संवाद साधता यावर त्याच्या गुणवत्तेची पातळी अवलंबून असते.

आम्ही दोन चाचण्या केल्या. पहिल्या चाचणीत, आम्ही १६ बग्ससह (bugs) एक साधा TypeScript बॅकएंड वापरला. दुसऱ्या चाचणीत, आम्ही १० सूक्ष्म बग्ससह (subtle bugs) एक जटिल प्रणाली तयार केली. या बग्स शोधण्यासाठी ॲपचे विविध भाग एकमेकांशी कसे जोडलेले आहेत हे समजून घेणे आवश्यक होते.

आम्हाला काय शिकायला मिळाले:

• प्रॉम्प्टमधील शब्दांची रचना (wording) ही रिझनिंग प्रयत्नांपेक्षा (reasoning effort) जास्त महत्त्वाची आहे. लो (low) कडून हाय (high) रिझनिंग मोडमध्ये बदलण्यापेक्षा प्रॉम्प्ट बदलल्यामुळे निकालांमध्ये जास्त फरक पडला.
• कडक (Strict) प्रॉम्प्ट्स उलट पडू शकतात. जर तुम्ही मॉडेलला "production PR ब्लॉक किंवा अप्रूव्ह करा" असे सांगितले, तर ते सुरक्षेवर (security) लक्ष केंद्रित करते. ते हार्डकोडेड सीक्रेट्स (hardcoded secrets) आणि कमकुवत हॅशिंग (weak hashing) शोधते, परंतु तुम्हाला शोधायचे असलेले प्रत्यक्ष लॉजिक बग्स (logic bugs) ते मिस करते.
• लोकल बग्स (Local bugs) शोधणे GLM-5.2 साठी सोपे आहे. ते एका फंक्शनमधील त्रुटी शोधू शकते, जसे की बिघडलेला परमिशन गार्ड (permission guard) किंवा चुकीचा व्हेरिएबल (variable).
• सिस्टम-व्यापी (System-wide) बग्स शोधणे GLM-5.2 साठी कठीण आहे. अनेक फाइल्समध्ये पसरलेल्या नियमांच्या बाबतीत त्याला अडचण येते. उदाहरणार्थ, आर्काइव्ह केलेल्या टास्कमुळे (archived tasks) सर्च रिझल्ट्स आणि एक्सपोर्ट्समध्ये त्रुटी निर्माण झाल्या होत्या, तेव्हा ते मॉडेल ते ओळखू शकले नाही.
• फ्रंटियर मॉडेल्स (Frontier models) अधिक विश्वसनीय आहेत. GPT-5.5 आणि Opus 4.8 ने एकाच वेळी जटिल आणि क्रॉस-रूट बग्स शोधले. या कामांमध्ये GLM-5.2 ची कामगिरी विसंगत (inconsistent) आहे.

GLM-5.2 प्रभावीपणे कसे वापरावे:

• लोकल लॉजिकसाठी (local logic) याचा वापर करा. एका फंक्शनमधील त्रुटी शोधण्यासाठी हे उत्तम आहे.
• तुमच्या सूचना स्पष्ट आणि नेमक्या द्या. "Strict" रिव्ह्यू मागण्याऐवजी, विविध रूट्समधील सुसंगतता (consistency) तपासण्यास सांगा.
• तुम्हाला तपासायचे असलेले वर्तन (behaviors) स्पष्टपणे सांगा. सर्च, एक्सपोर्ट्स आणि लिस्ट्स या सर्वांमध्ये डेटा हाताळण्याची पद्धत सारखीच आहे की नाही, हे तपासण्यास सांगा.
• महत्त्वाच्या (high-stakes) कोडसाठी केवळ एकाच वेळी रन करण्यावर अवलंबून राहू नका. निकाल बदलू शकतात, म्हणून तुम्ही ते अनेक वेळा रन केले पाहिजे किंवा जटिल बदलांसाठी अधिक शक्तिशाली मॉडेल वापरले पाहिजे.

GLM-5.2 हे एक सक्षम साधन आहे, परंतु तुम्हाला तुमच्या कामाशी सुसंगत असा प्रॉम्प्ट वापरावा लागेल.

स्रोत: https://dev.to/kilocode/glm-52s-code-reviews-are-only-as-good-as-your-prompt-5233

ऐच्छिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi