৬৯টি AI-লিখন টেস্ট একটি Python মডিউলে সফলভাবে পাস করেছে, তবুও একটি পরীক্ষা দেখিয়েছে যে একটি টার্গেটেড (targeted) টেস্ট-জেনারেশন পদ্ধতি ৫৩টি ইনজেক্ট করা ত্রুটির মধ্যে ৪৪টি ধরতে পেরেছে। সপ্তাহব্যাপী এই প্রোটোটাইপটি বর্তমান লার্জ-ল্যাঙ্গুয়েজ-মডেল (LLM) টেস্ট-রাইটিংয়ের একটি মৌলিক দুর্বলতা প্রমাণ করে: একটি ফিডব্যাক লুপ ছাড়া যা পরীক্ষা করে দেখে যে একটি টেস্ট আসলে একটি পরিচিত ত্রুটিতে ব্যর্থ হয় কি না, তৈরি করা টেস্ট স্যুটটি ত্রুটিহীন মনে হতে পারে কিন্তু এটি সেই বাগগুলোই মিস করতে পারে যা এটি শনাক্ত করার কথা ছিল।
কেন এই পরীক্ষাটি গুরুত্বপূর্ণ
অটোমেটেড টেস্ট জেনারেশন কোড এবং কভারেজের মধ্যকার ব্যবধান কমিয়ে আনার প্রতিশ্রুতি দেয়, বিশেষ করে যখন ডেভেলপাররা ইউনিট টেস্ট ড্রাফট করার জন্য LLM-এর ওপর নির্ভর করেন। বেশিরভাগ পাবলিক বেঞ্চমার্ক লাইন কভারেজ পরিমাপের মাধ্যমে সাফল্য মূল্যায়ন করে—অর্থাৎ টেস্ট চলাকালীন কোডের প্রতিটি লাইন রান করছে কি না। এই মেট্রিকটি বিভ্রান্তিকর হতে পারে: একটি লাইন রান হতে পারে কিন্তু টেস্টটি কখনোই সঠিক আচরণ অ্যাসার্ট (assert) নাও করতে পারে। মিউটেশন টেস্টিং (Mutation testing) সোর্স কোডটি ইচ্ছাকৃতভাবে পরিবর্তন করে (যেমন একটি তুলনা উল্টে দেওয়া, একটি স্টেটমেন্ট মুছে ফেলা ইত্যাদি) এবং বিদ্যমান টেস্টগুলো সেই পরিবর্তন শনাক্ত করতে পারে কি না তা দেখে এই অন্ধস্থানটি পূরণ করে। যদি একটি মিউটেড (mutated) ভার্সন তবুও পাস করে, তবে বুঝতে হবে টেস্ট স্যুটটি একটি প্রকৃত ত্রুটি মিস করেছে।
পরীক্ষাটিতে একটি LLM-কে টেস্ট তৈরি করার জন্য প্রম্পট করার তিনটি পদ্ধতির তুলনা করা হয়েছে:
- Bulk prompting – "আরও টেস্ট" (more tests) অনুরোধের একটি মাত্র রিকোয়েস্ট থেকে ৬৯টি টেস্ট তৈরি হয়েছিল যা অপরিবর্তিত কোডে পাস করেছিল কিন্তু ৫৩টি মিউটেশনের মধ্যে মাত্র ৯টি ধরতে পেরেছিল।
- One-test-per-call, untargeted – মডেলটিকে ত্রুটি সম্পর্কে কোনো নির্দেশনা ছাড়াই বারবার একটি মাত্র টেস্ট তৈরির জন্য বলা হয়েছিল; এটি মাত্র ২ টি মিউটেশন ধরতে পেরেছিল।
- Targeted prompting with a mutation-testing gate – মডেলটি প্রতিটি মিস করা মিউটেশন দেখতে পাচ্ছিল এবং এটিকে এমন একটি টেস্ট লিখতে বলা হয়েছিল যা মিউটেড কোডে ব্যর্থ হবে কিন্তু ক্লিন ভার্সনে পাস করবে। এই পদ্ধতিটি ৪৪টি শনাক্তকারী টেস্ট প্রদান করেছে।
এই বিশাল পার্থক্য—৪৪ বনাম ৯ বা ২—দেখায় যে একটি সংকীর্ণ, ত্রুটি-কেন্দ্রিক (fault-oriented) ফিডব্যাক লুপ AI-জেনারেটেড টেস্টের ত্রুটি শনাক্ত করার ক্ষমতা নাটকীয়ভাবে বৃদ্ধি করতে পারে।
মিউটেশন-টেস্টিং গেট কীভাবে কাজ করে
- Inject mutations – হারনেসটি মূল সোর্সে ছোট, পদ্ধতিগত পরিবর্তন তৈরি করে (যেমন একটি কন্ডিশনাল রিভার্স করা, একটি লাইন মুছে ফেলা)। প্রতিটি মিউটেশন একটি সম্ভাব্য বাগ নির্দেশ করে।
- Run the current test suite – যদি স্যুটটি তবুও পাস করে, তবে মিউটেশনটি শনাক্ত করা সম্ভব হয়নি।
- Prompt the LLM – মডেলটি নির্দিষ্ট মিউটেশনটি গ্রহণ করে এবং এমন একটি টেস্ট তৈরি করতে বলা হয় যা মিউটেড কোডে ব্যর্থ হবে কিন্তু অরিজিনাল কোডে সফল হবে।
- Validate the new test – টেস্টটি কেবল তখনই রাখা হয় যদি এটি ক্লিন কোডে পাস করে এবং মিউটেড ভার্সনে ব্যর্থ হয়।
- Iterate – প্রতিটি আনকাভারড (uncovered) মিউটেশনের জন্য এটি পুনরাবৃত্তি করুন।
এই ভ্যালিডেশন স্টেপটিই হলো "গেট"। এটি এমন যেকোনো টেস্টকে ফিল্টার করে বাদ দেয় যা টার্গেটেড ত্রুটির প্রতি সংবেদনশীলতা প্রদর্শন করে না, যা নিশ্চিত করে যে প্রতিটি সংরক্ষিত টেস্টের প্রমাণিত ত্রুটি-শনাক্তকরণ ক্ষমতা রয়েছে।
সংখ্যা থেকে প্রাপ্ত শিক্ষা
- অব্যবহৃত কোডই শনাক্ত না হওয়া ত্রুটির প্রধান কারণ – পরিপক্ক কোডবেসে (mature codebases), অনেক লাইন বিদ্যমান টেস্ট দ্বারা কখনোই ব্যবহৃত হয় না। পরীক্ষাটি দেখিয়েছে যে বেশিরভাগ শনাক্ত না হওয়া মিউটেশন এই ধরনের দুর্গম (unreachable) অঞ্চলে ছিল।
- গেট ভুল কারণে বৈধ টেস্টগুলো বাদ দিয়ে দেয় – প্রতিটি প্রত্যাখ্যাত টেস্ট ক্লিন কোডে পাস করেছিল; গেটটি সেগুলোকে বাদ দিয়েছে কারণ সেগুলো নির্দিষ্ট মিউটেশনে ব্যর্থ হয়নি। একটি টেস্ট নিখুঁতভাবে সঠিক হতে পারে কিন্তু পর্যালোচিত ত্রুটির ক্ষেত্রে অপ্রাসঙ্গিক হতে পারে।
- টার্গেটেড টেস্টগুলো অত্যন্ত সুনির্দিষ্ট – ৪৪টি সফল টেস্টের মধ্যে ৩৬টি ঠিক একটি মিউটেশন শনাক্ত করেছিল। টেস্ট স্যুটটি ব্যাপক অ্যাসারশনের (broad assertions) পরিবর্তে সংকীর্ণ চেকের (narrow checks) একটি সংগ্রহে পরিণত হয়েছে, যা রক্ষণাবেক্ষণযোগ্যতা (maintainability) এবং ওভার-ফিটিং (over-fitting) সম্পর্কে প্রশ্ন তোলে।
ফলাফল যা কভার করে না
এই পদ্ধতির শক্তি—একটি পরিচিত ত্রুটির ওপর এর ফোকাস—এর সাধারণীকরণকেও (generality) সীমিত করে। ডিজাইন অনুযায়ী, মডেলটিকে নতুন বা অজানা বাগ খুঁজে বের করতে উৎসাহিত করা হয় না; এটি কেবল উপস্থাপিত মিউটেশনের বিপরীতে "প্রতিক্রিয়া জানাতে" শেখে। একটি টেস্ট যা কেবল একটি ইঞ্জিনিয়ার্ড পরিবর্তনের ক্ষেত্রেই ব্যর্থ হয়, তা বাস্তব জগতের রিগ্রেশনগুলোর (regressions) বিরুদ্ধে আত্মবিশ্বাস নাও দিতে পারে যা ভিন্নভাবে প্রকাশ পায়। তদুপরি, পরীক্ষাটিতে ইচ্ছাকৃতভাবে একটি ছোট মডিউল এবং একটি হ্যান্ডক্রাফটেড হারনেস ব্যবহার করা হয়েছে; এই পদ্ধতিটিকে বড় এবং হেটেরোজিনিয়াস (heterogeneous) কোডবেসে স্কেল করলে পারফরম্যান্সের সীমাবদ্ধতা এবং উচ্চতর ইঞ্জিনিয়ারিং ওভারহেড প্রকাশ পেতে পারে।
AI-চালিত টেস্টিংয়ের প্রভাব
- মেট্রিক্স গুরুত্বপূর্ণ – শুধুমাত্র লাইন কভারেজের ওপর নির্ভর করা নিরাপত্তার একটি মিথ্যা ধারণা দিতে পারে। মিউটেশন টেস্টিং আচরণের ওপর ভিত্তি করে আরও উন্নত পরিমাপ প্রদান করে, এবং এটিকে ইভ্যালুয়েশন লুপের সাথে যুক্ত করলে দ্রুত অদেখা ত্রুটিগুলো শনাক্ত করা সম্ভব হয়।
- ফিডব্যাক লুপ আউটপুট উন্নত করে – গেট (gate) থেকে পাওয়া নাটকীয় উন্নতি এটিই প্রমাণ করে যে, LLM-গুলো ওয়ান-শট জেনারেশনের চেয়ে পুনরাবৃত্তিমূলক এবং সংশোধনমূলক প্রম্পট থেকে বেশি উপকৃত হয়।
- টুলিংয়ের স্বচ্ছতা অপরিহার্য – লেখক নিজেই মেজারমেন্ট হার্নেস (measurement harness)-এ ১১টি বাগ খুঁজে পেয়েছেন, যা প্রাথমিকভাবে রিপোর্ট করা সাফল্যের হারকে বাড়িয়ে দেখিয়েছিল। ফলাফলের পাশাপাশি হার্নেসটি প্রকাশ করলে কমিউনিটি ইভ্যালুয়েশন পাইপলাইনটি অডিট এবং উন্নত করতে পারে।
পরবর্তীতে যা লক্ষ্য রাখা উচিত
- হাইব্রিড পাইপলাইন – ব্যাপ্তি বাড়ানোর জন্য বাল্ক টেস্ট জেনারেশন এবং গভীরতা বাড়ানোর জন্য টার্গেটেড মিউটেশন-চালিত রিফাইনমেন্টের সমন্বয় একটি ভারসাম্যপূর্ণ স্যুট তৈরি করতে পারে, যা কোড কভার করার পাশাপাশি আচরণকেও যাচাই করবে।
- স্বয়ংক্রিয় হার্নেস ভেরিফিকেশন – গবেষকরা যখন মিউটেশন টেস্টিংকে একটি বেঞ্চমার্ক হিসেবে গ্রহণ করবেন, তখন লুকানো পরিমাপের ত্রুটি এড়াতে এমন টুলস অত্যন্ত গুরুত্বপূর্ণ হয়ে উঠবে যা তাদের মিউটেশন সেট এবং এক্সিকিউশন পাইপলাইন নিজেই যাচাই করতে পারে।
- জেনারালাইজেশন স্টাডিজ – ভবিষ্যতে এই গবেষণাটি পরীক্ষা করা উচিত যে, গেটের মাধ্যমে তৈরি করা টেস্টগুলো অজানা বাগ বা প্রোডাকশন এনভায়রনমেন্টে প্রয়োগ করার সময় কার্যকারিতা বজায় রাখে কি না, যা এর সীমাবদ্ধতা সংক্রান্ত উদ্বেগ দূর করবে।
মূল কথা
একটি সাধারণ মিউটেশন-টেস্টিং ফিডব্যাক লুপ এমন একটি LLM-কে, যা কেবল পাস হওয়া কিন্তু অকেজো টেস্ট লেখে, এমন একটি টুলে রূপান্তরিত করতে পারে যা প্রকৃতপক্ষে ত্রুটি খুঁজে বের করে। এই পরীক্ষাটি দেখায় যে, এই ধরনের গেট ছাড়া AI-জেনারেটেড টেস্টগুলো কেবল কভারেজের একটি বাহ্যিক আবরণ হয়ে থাকার ঝুঁকি থাকে, যা সেই বাগগুলোকেই ধরতে ব্যর্থ হয় যা ধরার জন্য সেগুলো তৈরি করা হয়েছিল। ডেভেলপার এবং গবেষক উভয়ের জন্যই, টেস্ট জেনারেশনের সাথে আচরণ-কেন্দ্রিক ভ্যালিডেশন যুক্ত করা এখন আর ঐচ্ছিক নয়—অটোমেটেড টেস্টিং যেন কোডবেসে প্রকৃত নিরাপত্তা নিশ্চিত করে, তা করার একমাত্র উপায় হলো এটি।