OpenAI जुन्या चॅट्सचा वापर करून मॉडेलमधील त्रुटींचा अंदाज वर्तवते

OpenAI ने मॉडेल कधी फेल होईल याचा अंदाज लावण्याचा एक मार्ग शोधला आहे. ते यासाठी वापरकर्त्यांच्या जुन्या चॅट्स पुन्हा प्ले (replay) करून हे करतात.

ही पद्धत ऐतिहासिक लॉग्समधील (historical logs) त्रुटींचे नमुने शोधते. यासाठी नवीन लेबल केलेल्या डेटाची (labeled data) गरज नसते. यामुळे सुरक्षा चाचणी (safety testing) अधिक वेगवान आणि स्वस्त होते.

हे कसे कार्य करते:

  • ही सिस्टम मॉडेलद्वारे जुन्या वास्तविक संभाषणांचे पुनरावृत्ती (replay) करते.
  • ती मागील चुकांचे अंश शोधते.
  • ती वारंवार होणारे गैरसमज किंवा 'edge cases' शोधते.
  • मॉडेल अचूक उत्तरांपासून कुठे विचलित होते, हे ती ओळखते.

पारंपारिक चाचणीमध्ये अनेकदा दुर्मिळ त्रुटी सुटतात. हा नवीन दृष्टिकोन त्या त्रुटी शोधण्यासाठी वापरकर्त्यांच्या वास्तविक वर्तनाचा वापर करतो. हे बनावट टेस्ट केसेस तयार करण्याऐवजी अस्तित्वात असलेल्या डेटावर अवलंबून आहे.

सध्याच्या मर्यादा: OpenAI ने अद्याप कोणतेही विशिष्ट आकडेवारी शेअर केलेली नाही. त्रुटींचे प्रमाण (error rates) किंवा बेंचमार्क स्कोअर काय आहेत, हे आपल्याला माहित नाही. तसेच, हे GPT-5 सारख्या भविष्यातील मॉडेल्ससाठी काम करेल की नाही, हे देखील आपल्याला माहित नाही.

काय लक्ष ठेवावे: तांत्रिक अहवाल किंवा arXiv पेपरची प्रतीक्षा करा. वर्तवलेले अंदाज (predicted failures) आणि प्रत्यक्ष डिप्लॉयमेंट त्रुटी (actual deployment errors) यांच्यातील संबंध तपासा. यामुळे ही पद्धत मोठ्या प्रमाणावर (at scale) काम करते की नाही, हे समजेल.

Source: https://dev.to/gentic_news/openai-can-predict-model-failures-via-past-chat-replay-2hej

ऐच्छिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi