एका वेगवान LLM ने मला गृहितकांबाबत (Assumptions) काय शिकवले

मी एका जटिल कार्यासाठी एक तास एक स्वस्त आणि वेगवान LLM चालवले. ते अपयशी ठरले नाही.

बहुतेक लोकांना वाटते की कमकुवत मॉडेल्स दीर्घकालीन कामांमध्ये अपयशी ठरतात. ती भरकटतात किंवा अर्धवट सोडून देतात. पण हे मॉडेल मार्गावर राहिले. असे झाले कारण मी त्याला 'deliverables' ची एक यादी दिली होती.

मला वाटले की या 'deliverables' मुळे अचूकता वाढण्यास मदत होईल. पण मी चुतो.

एका अभ्यासातून असे दिसून येते की 'deliverables' मॉडेलला अधिक अचूक बनवत नाहीत. ते मॉडेलला अधिक 'verifiable' (पडताळण्यायोग्य) बनवतात. मॉडेल त्याच्या कामाचे अधिक चांगल्या प्रकारे दस्तऐवजीकरण करते. ते तुमच्या तपासणीसाठी पुरावे सोडते.

सॉफ्टवेअरमध्ये दोन प्रकारचे एरर्स (errors) असतात:

  • Execution errors: स्वॅप झालेला स्वल्पविराम किंवा एखादी सुटलेली 'edge case'. तुम्ही हे टेस्ट्स आणि 'linting' द्वारे सुधारू शकता.
  • Assumption errors: चुकीच्या ठिकाणी सीमा (boundary) निश्चित करणे. हे सुधारणे खूप कठीण असते.

प्रक्रिया (Process) 'execution errors' मध्ये मदत करते. ती 'assumption errors' सोडवत नाही. जर तुमची आणि मॉडेलची 'blind spot' (अंधारी जागा) एकच असेल, तर तुमची रिव्ह्यू प्रक्रिया देखील अपयशी ठरेल.

AI या चुकांचे गणित बदलत आहे.

पूर्वी, माणूस चुका हळूहळू करायचा. यामुळे तुम्हाला त्या लक्षात घेण्यासाठी वेळ मिळत असे. आता, AI वेगाने चुका करते. तुम्हाला लक्षात येण्यापूर्वीच मॉडेल एका चुकीच्या गृहितकावर आधारित तीन तासांचा परिपूर्ण कोड तयार करू शकते.

मॉडेल जितके सक्षम दिसते, तितकाच तुम्ही त्यावर विश्वास ठेवता. तुम्ही त्याला जास्त वेळ चालवू देता. तुम्ही वारंवार तपासणे थांबवता. हा एक सापळा आहे. चुकीचे गृहितक कोणतेही चेतावणीचे संकेत (warning light) देत नाही. जोपर्यंत खूप उशीर होत नाही, तोपर्यंत ते प्रगतीसारखेच वाटते.

उद्योग यावर अधिक प्रक्रियेद्वारे उपाय शोधण्याचा प्रयत्न करत आहे. आपण अधिक स्पेसिफिकेशन्स (specs) आणि अधिक योजना जोडतो. हे केवळ अतिरिक्त ओव्हरहेड (overhead) आहे. हे गृहितकांच्या समस्येसाठी केवळ अंमलबजावणीचे साधन आहे.

मॉडेल किती वेळा बरोबर येते हे मोजणे आपल्याला थांबवावे लागेल. त्याऐवजी, एखादे चुकीचे गृहितक पकडण्यापूर्वी ते किती काळ टिकते, हे मोजण्याची आपल्याला गरज आहे.

प्रोडक्शनमध्ये, याला आपण MTTD: Mean Time To Detect म्हणतो.

आपण प्रत्येक चूक थांबवू शकत नाही. आपण केवळ चुका सुधारण्याचा खर्च कमी करू शकतो. ते लवकर शोधून तुम्ही हे करू शकता.

ध्येय केवळ अधिक हुशार मॉडेल शोधणे हे नाही. तर, नियंत्रण कोणाकडे असावे हे ठरवणे हे ध्येय आहे.

Source: https://dev.to/g_correa/what-a-fast-llm-taught-me-about-assumptions-oe

Optional learning community: https://t.me/GyaanSetuAi