GPT-4 और Claude जैसे ऑटोरेग्रेसिव दिग्गज कोड को टोकन-दर-टोकन उत्पन्न करते हैं, जो एक फ़ाइल में बाएं-से-दाएं आगे बढ़ते हैं। वे छोटे स्निपेट्स को अच्छी तरह से संभालते हैं, लेकिन जब कोई डेवलपर किसी बड़े कोडबेस में गहराई से दबी हुई लाइन को संपादित करना चाहता है, तो वे लड़खड़ा जाते हैं। मॉडल को हर डाउनस्ट्रीम टोकन का पुनर्मूल्यांकन करना पड़ता है, और पूरी फ़ाइल को सुसंगत बनाए रखना एक दुःस्वप्न बन जाता है।

डिफ्यूजन मॉडल रैंडम टोकन के एक बादल से शुरू होते हैं और तब तक क्रमिक रूप से डिनोइज़ (denoise) करते हैं जब तक कि एक सुसंगत प्रोग्राम दिखाई न देने लगे। चूंकि परिष्करण (refinement) एक ही बार में पूरे अनुक्रम को छूता है, इसलिए मॉडल अंत (tail) की पुनर्गणना किए बिना कोड के किसी भी हिस्से को डाल, हटा या फिर से लिख सकता है।

सॉफ्टवेयर इंजीनियरिंग के साथ वर्तमान प्रतिमान (paradigm) को संघर्ष क्यों करना पड़ता है

ऑटोरेग्रेशन मॉडल को कोड को एक रैखिक स्ट्रीम (linear stream) के रूप में मानने के लिए मजबूर करता है, जिसका अर्थ है कि यह:

  • केवल पीछे देखता है। यह भविष्य के टोकन कभी नहीं देखता, इसलिए यह अनुमान नहीं लगा सकता कि एक बदलाव बाद की लाइनों को कैसे प्रभावित करेगा।
  • डाउनस्ट्रीम टेक्स्ट की पुनर्गणना करता है। एक संपादन नई भविष्यवाणियों की एक श्रृंखला (cascade) को ट्रिगर करता है, जिससे रिफैक्टरिंग या बग फिक्सिंग के लिए लेटेंसी (latency) बढ़ जाती है।
  • लंबे समय तक चलने वाली त्रुटियों को संचित करता है। शुरुआती बेमेल (mismatches) बर्फ के गोले की तरह बढ़ते जाते हैं (snowball), जिससे अंतिम फ़ाइल सिंटैक्टिक रूप से टूटी हुई या तार्किक रूप से असंगत रह जाती है।

जब आपको इनफिल (infill) करने की आवश्यकता होती है—जैसे फ़ाइल के बीच में फ़ंक्शन बॉडी डालना या API सिग्नेचर को अपडेट करना—तो ऑटोरेग्रेसिव मॉडल की क्रमिक प्रकृति अकुशल और त्रुटिपूर्ण महसूस होती है।

डिफ्यूजन विकल्प: क्रमिक परिष्करण, न कि चरण-दर-चरण भविष्यवाणी

हम कोड फ़ाइल को एक शोर वाले सिग्नल (noisy signal) के रूप में मानते हैं। जनरेशन कई चरणों में आगे बढ़ती है:

  1. शुद्ध शोर (pure noise) के साथ प्रारंभ करें। हम मॉडल को रैंडम टोकन का एक अनुक्रम देते हैं, जिसे अक्सर एक विशेष प्लेसहोल्डर द्वारा दर्शाया जाता है।
  2. क्रमिक डिनोइज़िंग। प्रत्येक चरण में मॉडल थोड़ा साफ संस्करण का अनुमान लगाता है, जिससे टोकन संभावित कोड की ओर बढ़ते हैं।
  3. एक पूर्ण प्रोग्राम पर अभिसरण (converge) करें। चरणों की एक निश्चित संख्या के बाद शोर गायब हो जाता है, जिससे एक पूरी तरह से बना हुआ स्निपेट बचता है।

चूंकि प्रत्येक चरण पूरे अनुक्रम पर फिर से विचार करता है, इसलिए मॉडल किसी भी चरण में किसी भी टोकन में बदलाव कर सकता है। यह वैश्विक दृष्टिकोण (global view) इसे उसके बाद आने वाली हर चीज़ को फिर से उत्पन्न किए बिना एक छूटा हुआ इम्पोर्ट जोड़ने, वेरिएबल का नाम बदलने या ब्लॉक को फिर से इंडेंट करने की अनुमति देता है।

कोड-केंद्रित डिफ्यूजन मॉडल की इंजीनियरिंग

डिफ्यूजन को इमेज से टेक्स्ट में पोर्ट करना कोई 'प्लग-एंड-प्ले' कार्य नहीं है। तीन तकनीकी बदलाव महत्वपूर्ण हैं।

1. डिस्क्रीट डिफ्यूजन (Discrete diffusion)

इमेज पिक्सेल भिन्नात्मक शोर (fractional noise) स्वीकार करते हैं, लेकिन एक कोड टोकन श्रेणीबद्ध (categorical) होता है—यह या तो एक विशिष्ट कीवर्ड, आइडेंटिफायर या प्रतीक होता है। इसलिए हम एक मार्कोव चेन (Markov chain) का उपयोग करते हैं जो टोकन को बार-बार एक तटस्थ प्लेसहोल्डर (अक्सर [MASK]) से बदल देता है जब तक कि अनुक्रम प्रभावी रूप से रैंडम न हो जाए। रिवर्स प्रक्रिया चरण-दर-चरण मूल टोकन को बहाल करना सीखती है।

2. संरचनात्मक जागरूकता (Structural awareness)

प्रोग्रामिंग भाषाएं सख्त सिंटैक्टिक नियम लागू करती हैं: Python में इंडेंटेशन स्कोप (scope) को परिभाषित करता है, C-स्टाइल भाषाओं में ब्रेसेस (braces) ब्लॉक्स को सीमित करते हैं, और वेरिएबल्स को उपयोग से पहले घोषित किया जाना चाहिए। एक डिफ्यूजन मॉडल जो कोड को सादे टेक्स्ट के रूप में मानता है, वह सिंटैक्टिक रूप से अमान्य आउटपुट देगा। इसे रोकने के लिए, शोधकर्ता सिंटैक्स-जागरूक अटेंशन मास्क (syntax-aware attention masks) जोड़ते हैं जो यह सीमित करते हैं कि टोकन एक-दूसरे पर कैसे ध्यान देते हैं, जिससे मॉडल पदानुक्रम (hierarchy), नेस्टिंग और भाषा-विशिष्ट बाधाओं का सम्मान करने के लिए मजबूर होता है।

3. पदानुक्रमित परिष्करण (Hierarchical refinement)

शुरुआती डिफ्यूजन चरण मोटे ढांचे का खाका तैयार करते हैं—फ़ंक्शन सिग्नेचर, क्लास डेफिनिशन, मॉड्यूल संगठन। बाद के चरण विराम चिह्न, व्हाइटस्पेस और नामकरण परंपराओं जैसे सूक्ष्म विवरणों को पॉलिश करते हैं। यह 'कोर्स-टू-फाइन' (coarse-to-fine) रणनीति इस बात को दर्शाती है कि कैसे इंसान आंतरिक विवरणों को पॉलिश करने से पहले एक प्रोग्राम की रूपरेखा तैयार करते हैं, और यह प्रत्येक चरण में वहां कंप्यूट (compute) निर्देशित करती है जहां इसकी सबसे अधिक आवश्यकता होती है।

ऑटोरेग्रेसिव बनाम डिफ्यूजन: एक साथ तुलना

पहलू (Aspect) ऑटोरेग्रेसिव (Autoregressive) डिफ्यूजन (Diffusion)
जनरेशन फ्लो क्रमिक, बाएं-से-दाएं समानांतर, क्रमिक डिनोइज़िंग
वैश्विक सुसंगतता लंबे समय तक चलने पर विचलन (drift) की संभावना सभी टोकन में समग्र दृष्टिकोण
सामान्य उपयोग के मामले चैट, स्पष्टीकरण, त्वरित स्निपेट्स रिफैक्टरिंग, बग फिक्सिंग, बड़े पैमाने पर कोड सिंथेसिस

तालिका दिखाती है कि प्रत्येक प्रतिमान अलग-अलग संदर्भों में क्यों चमकता है। ऑटोरेग्रेसिव मॉडल तब जीतते हैं जब गति और संवादात्मक इंटरैक्शन मायने रखते हैं। डिफ्यूजन मॉडल तब जीतते हैं जब अंतिम उत्पाद को सिंटैक्टिक रूप से सही और संरचनात्मक रूप से सुसंगत होना चाहिए, भले ही वे अतिरिक्त कंप्यूट चक्रों (compute cycles) का उपयोग करें।

आगे क्या देखें

  • हाइब्रिड पाइपलाइन्स। भविष्य के सिस्टम एक ऑटोरेग्रेसिव मॉडल को तेज़ी से पहला ड्राफ्ट तैयार करने की अनुमति दे सकते हैं, और फिर उसे पॉलिश करने के लिए एक डिफ्यूजन मॉडल को सौंप सकते हैं।
  • स्ट्रक्चरल मास्क के लिए टूलिंग। शोधकर्ता सिंटैक्स-अवेयर अटेंशन मास्क को लगातार परिष्कृत कर रहे हैं ताकि डिफ्यूजन मॉडल भाषा-विशिष्ट बाधाओं (constraints) का पालन कर सकें।

मुख्य निष्कर्ष

डिफ्यूजन मॉडल कोड जनरेशन के तरीके को पूरी तरह से बदल देते हैं: एक-एक टोकन के क्रम में आगे बढ़ने के बजाय, वे इटरेटिव डिनोइजिंग (iterative denoising) के माध्यम से पूरे प्रोग्राम को आकार देते हैं। यह दृष्टिकोण ऑटोरेग्रेसिव सिस्टम की मुख्य कमजोरी—बड़े और परिवर्तनशील कोडबेस में वैश्विक निरंतरता (global consistency) बनाए रखने—को संबोधित करता है। हालांकि यह धीमा और अधिक कंप्यूट-इंटेंसिव है, लेकिन डिफ्यूजन रिफैक्टरिंग, बग फिक्सिंग और ऐसे किसी भी परिदृश्य के लिए एक प्रभावशाली टूल प्रदान करता है जहाँ एक साफ और सिंटैक्स के अनुसार सही आउटपुट, केवल गति से अधिक महत्वपूर्ण होता है। भविष्य का सबसे आशाजनक रास्ता एक हाइब्रिड वर्कफ़्लो प्रतीत होता है जो ऑटोरेग्रेशन की त्वरित ड्राफ्टिंग शक्ति को डिफ्यूजन की समग्र सुधार (holistic polishing) क्षमता के साथ जोड़ता है।