𝗢𝗽𝗲𝗻𝗔𝗜 𝗠𝗲𝗿𝗮𝗺𝗮𝗹𝗸𝗮𝗻 𝗞𝗲𝗴𝗮𝗴𝗮𝗹𝗮𝗻 𝗠𝗼𝗱𝗲𝗹 𝗠𝗲𝗻𝗴𝗴𝘂𝗻𝗮𝗸𝗮𝗻 𝗦𝗲𝗺𝗯𝗮𝗻𝗴 𝗟𝗮𝗺𝗮
OpenAI telah menemui cara untuk meramalkan bila sesuatu model akan gagal. Mereka melakukan ini dengan memainkan semula sembang lama pengguna.
Kaedah ini mencari corak ralat dalam log sejarah. Ia tidak memerlukan data berlabel baharu. Ini menjadikan ujian keselamatan lebih pantas dan murah.
Cara ia berfungsi:
- Sistem ini memainkan semula perbualan sebenar yang lalu melalui model tersebut.
- Ia mencari kesan kesilapan terdahulu.
- Ia mencari salah faham yang berulang atau kes terpencil (edge cases).
- Ia mengenal pasti di mana model menyimpang daripada jawapan yang betul.
Ujian tradisional sering terlepas ralat yang jarang berlaku. Pendekatan baharu ini menggunakan tingkah laku pengguna sebenar untuk mencari jurang tersebut. Ia bergantung kepada data sedia ada dan bukannya mencipta kes ujian palsu.
Had semasa: OpenAI belum berkongsi angka khusus lagi. Kita tidak tahu kadar ralat atau skor penanda aras. Kita juga tidak tahu sama ada ini berfungsi untuk model masa hadapan seperti GPT-5.
Perkara yang perlu diperhatikan: Tunggu laporan teknikal atau kertas kerja arXiv. Cari korelasi antara kegagalan yang diramalkan dengan ralat pelaksanaan sebenar. Ini akan menunjukkan sama ada kaedah ini berfungsi pada skala besar.
Sumber: https://dev.to/gentic_news/openai-can-predict-model-failures-via-past-chat-replay-2hej
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi