OpenAI ਪੁਰਾਣੀਆਂ ਚੈਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਡਲ ਦੀਆਂ ਅਸਫਲਤਾਵਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਦਾ ਹੈ
OpenAI ਨੇ ਇਹ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਦਾ ਤਰੀਕਾ ਲੱਭ ਲਿਆ ਹੈ ਕਿ ਮਾਡਲ ਕਦੋਂ ਅਸਫਲ ਹੋਵੇਗਾ। ਉਹ ਪੁਰਾਣੀਆਂ ਯੂਜ਼ਰ ਚੈਟਾਂ ਨੂੰ ਦੁਬਾਰਾ ਚਲਾ ਕੇ ਇਹ ਕਰਦੇ ਹਨ।
ਇਹ ਵਿਧੀ ਇਤਿਹਾਸਕ ਲੌਗਸ ਵਿੱਚ ਗਲਤੀਆਂ ਦੇ ਪੈਟਰਨ ਲੱਭਦੀ ਹੈ। ਇਸ ਨੂੰ ਨਵੇਂ ਲੇਬਲ ਕੀਤੇ ਡੇਟਾ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ। ਇਸ ਨਾਲ ਸੁਰੱਖਿਆ ਟੈਸਟਿੰਗ ਤੇਜ਼ ਅਤੇ ਸਸਤੀ ਹੋ ਜਾਂਦੀ ਹੈ।
ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ:
- ਸਿਸਟਮ ਮਾਡਲ ਰਾਹੀਂ ਅਸਲ ਪੁਰਾਣੀਆਂ ਗੱਲਬਾਤਾਂ ਨੂੰ ਦੁਬਾਰਾ ਚਲਾਉਂਦਾ ਹੈ।
- ਇਹ ਪਿਛਲੀਆਂ ਗਲਤੀਆਂ ਦੇ ਨਿਸ਼ਾਨ ਲੱਭਦਾ ਹੈ।
- ਇਹ ਵਾਰ-ਵਾਰ ਹੋਣ ਵਾਲੀਆਂ ਗਲਤਫਹਿਮੀਆਂ ਜਾਂ ਐਜ ਕੇਸਾਂ (edge cases) ਦੀ ਭਾਲ ਕਰਦਾ ਹੈ।
- ਇਹ ਪਛਾਣਦਾ ਹੈ ਕਿ ਮਾਡਲ ਸਹੀ ਜਵਾਬਾਂ ਤੋਂ ਕਿੱਥੇ ਭਟਕ ਰਿਹਾ ਹੈ।
ਰਵਾਇਤੀ ਟੈਸਟਿੰਗ ਵਿੱਚ ਅਕਸਰ ਦੁਰਲੱਭ ਗਲਤੀਆਂ ਰਹਿ ਜਾਂਦੀਆਂ ਹਨ। ਇਹ ਨਵਾਂ ਤਰੀਕਾ ਉਹਨਾਂ ਕਮੀਆਂ ਨੂੰ ਲੱਭਣ ਲਈ ਅਸਲ ਯੂਜ਼ਰ ਵਿਵਹਾਰ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇਹ ਨਕਲੀ ਟੈਸਟ ਕੇਸ ਬਣਾਉਣ ਦੀ ਬਜਾਏ ਮੌਜੂਦਾ ਡੇਟਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।
ਮੌਜੂਦਾ ਸੀਮਾਵਾਂ: OpenAI ਨੇ ਅਜੇ ਤੱਕ ਕੋਈ ਖਾਸ ਅੰਕੜੇ ਸਾਂਝੇ ਨਹੀਂ ਕੀਤੇ ਹਨ। ਸਾਨੂੰ ਗਲਤੀਆਂ ਦੀ ਦਰ ਜਾਂ ਬੈਂਚਮਾਰਕ ਸਕੋਰਾਂ ਬਾਰੇ ਨਹੀਂ ਪਤਾ। ਸਾਨੂੰ ਇਹ ਵੀ ਨਹੀਂ ਪਤਾ ਕਿ ਕੀ ਇਹ GPT-5 ਵਰਗੇ ਭਵਿੱਖ ਦੇ ਮਾਡਲਾਂ ਲਈ ਕੰਮ ਕਰੇਗਾ।
ਕਿਸ ਚੀਜ਼ 'ਤੇ ਨਜ਼ਰ ਰੱਖਣੀ ਹੈ: ਕਿਸੇ ਤਕਨੀਕੀ ਰਿਪੋਰਟ ਜਾਂ arXiv ਪੇਪਰ ਦੀ ਉਡੀਕ ਕਰੋ। ਭਵਿੱਖਬਾਣੀ ਕੀਤੀਆਂ ਗਈਆਂ ਅਸਫਲਤਾਵਾਂ ਅਤੇ ਅਸਲ ਡਿਪਲਾਈਮੈਂਟ ਗਲਤੀਆਂ ਵਿਚਕਾਰ ਸਬੰਧ ਲੱਭੋ। ਇਸ ਨਾਲ ਪਤਾ ਲੱਗੇਗਾ ਕਿ ਕੀ ਇਹ ਵਿਧੀ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਕੰਮ ਕਰਦੀ ਹੈ।
Source: https://dev.to/gentic_news/openai-can-predict-model-failures-via-past-chat-replay-2hej
Optional learning community: https://t.me/GyaanSetuAi