ਪੈਲੀਕਨ ਬੈਂਚਮਾਰਕ: AI ਵਿਕਾਸ ਦੇ 2 ਸਾਲ
ਅਕਤੂਬਰ 2024 ਵਿੱਚ, ਸਾਈਮਨ ਵਿਲੀਸਨ ਨੇ ਸੋਲ਼ਹਾਂ LLMs ਨੂੰ ਇੱਕ ਪ੍ਰੋਂਪਟ ਦਿੱਤਾ: "Generate an SVG of a pelican riding a bicycle."
ਉਹ ਪਿਛਲੇ ਦੋ ਸਾਲਾਂ ਤੋਂ ਹਰ ਨਵੇਂ ਮਾਡਲ 'ਤੇ ਇਹੀ ਪ੍ਰੋਂਪਟ ਚਲਾ ਰਹੇ ਹਨ। ਹੁਣ ਉਨ੍ਹਾਂ ਕੋਲ 66 ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਤੋਂ 103 ਡਰਾਇੰਗਾਂ ਹਨ।
ਅਸੀਂ ਇਹਨਾਂ ਤਸਵੀਰਾਂ ਨੂੰ ਇੱਕੋ ਥਾਂ 'ਤੇ ਇਕੱਠਾ ਕੀਤਾ ਹੈ: pelicanzoo.ai।
ਇਹ ਪ੍ਰਯੋਗ ਸਾਨੂੰ AI ਬਾਰੇ ਕੀ ਸਿਖਾਉਂਦਾ ਹੈ, ਉਹ ਇੱਥੇ ਹੈ:
- SVG ਕੋਡ ਹੈ, ਪਿਕਸਲ ਨਹੀਂ। LLMs ਦੇਖ ਨਹੀਂ ਸਕਦੇ, ਪਰ ਉਹ ਕੋਡ ਲਿਖ ਸਕਦੇ ਹਨ। ਉਹਨਾਂ ਨੂੰ ਸਿਰਫ਼ ਕੋਆਰਡੀਨੇਟਸ (coordinates) ਅਤੇ ਰੇਡੀਆਈ (radii) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਤਸਵੀਰ ਬਣਾਉਣੀ ਪੈਂਦੀ ਹੈ।
- ਇਹ ਕੰਮ ਔਖਾ ਹੈ। ਮਨੁੱਖਾਂ ਲਈ ਯਾਦਦਾਸ਼ਤ ਤੋਂ ਸਾਈਕਲ ਬਣਾਉਣਾ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ। ਪੈਲੀਕਨਾਂ ਦੀ ਸ਼ਕਲ ਵੀ ਸਾਈਕਲ ਚਲਾਉਣ ਲਈ ਸਹੀ ਨਹੀਂ ਹੁੰਦੀ।
- ਸ਼ੁਰੂਆਤੀ ਮਾਡਲਾਂ ਨੇ ਬਹੁਤ ਹੀ ਅਜੀਬ ਤਰੀਕਿਆਂ ਨਾਲ ਅਸਫਲਤਾ ਦਿਖਾਈ। ਕੁਝ ਨੇ ਤਿਕੋਣ ਅਤੇ ਗੋਲੇ ਬਣਾਏ। ਕੁਝ ਨੇ ਅਜਿਹੀਆਂ ਸ਼ਕਲਾਂ ਬਣਾਈਆਂ ਜੋ ਸਿੰਕ ਜਾਂ ਟਰੈਕਟਰ ਵਰਗੀਆਂ ਲੱਗਦੀਆਂ ਸਨ।
- ਸਮਰੱਥਾ ਦੀ ਨਿਗਰਾਨੀ (Capability tracking) ਬਦਲ ਗਈ ਹੈ। ਪਹਿਲੇ ਸਾਲ ਵਿੱਚ, ਬਿਹਤਰ ਪੈਲੀਕਨਾਂ ਦਾ ਮਤਲਬ ਸੀ ਬਿਹਤਰ ਕੋਡਿੰਗ ਹੁਨਰ। ਹੁਣ, ਉਹ ਸਬੰਧ ਖਤਮ ਹੋ ਗਿਆ ਹੈ।
- ਛੋਟੇ ਮਾਡਲ ਵੀ ਜਿੱਤ ਸਕਦੇ ਹਨ। ਲੈਪਟਾਪ 'ਤੇ ਚੱਲ ਰਹੇ ਇੱਕ ਛੋਟੇ ਮਾਡਲ ਨੇ ਇੱਕ ਵਾਰ ਇੱਕ ਵਿਸ਼ਾਲ ਫਲੈਗਸ਼ਿਪ ਮਾਡਲ ਨਾਲੋਂ ਬਿਹਤਰ ਪੈਲੀਕਨ ਬਣਾਇਆ ਸੀ।
ਇੱਕ "ਬੁੱਧੂ" ਟੈਸਟ ਕਿਉਂ ਚਲਾਉਂਦੇ ਰਹੋ?
ਇਹ ਦੋ ਵਿਵਹਾਰਕ ਉਦੇਸ਼ਾਂ ਦੀ ਪੂਰਤੀ ਕਰਦਾ ਹੈ:
- ਇਹ ਸਾਬਤ ਕਰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ। ਪੈਲੀਕਨ ਦੀ ਤਸਵੀਰ ਪਾਉਣਾ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਸਿਰਫ਼ ਖ਼ਬਰਾਂ ਪੜ੍ਹਨ ਦੀ ਬਜਾਏ ਅਸਲ ਵਿੱਚ ਮਾਡਲ ਚਲਾਇਆ ਹੈ।
- ਇਹ ਲੁਕਵੇਂ ਡੇਟਾ ਨੂੰ ਪ੍ਰਗਟ ਕਰਦਾ ਹੈ। ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ ਕਿ ਇੱਕ ਮਾਡਲ ਕਿੰਨੇ ਟੋਕਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਸਧਾਰਨ ਤਸਵੀਰ ਬਣਾਉਣ ਦੀ ਲਾਗਤ ਕਿੰਨੀ ਹੈ।
ਪੈਲੀਕਨ ਟੈਸਟ ਹੁਣ ਸਭ ਤੋਂ ਵਧੀਆ AI ਨੂੰ ਰੈਂਕ ਕਰਨ ਦਾ ਤਰੀਕਾ ਨਹੀਂ ਰਿਹਾ। ਇਹ ਇੱਕ ਰਸਮ ਬਣ ਗਿਆ ਹੈ। ਇਹ ਤੁਹਾਨੂੰ ਇੱਕ ਮਾਡਲ ਦੀ ਸ਼ਖਸੀਅਤ ਦਿਖਾਉਂਦਾ ਹੈ। ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ ਕਿ ਇੱਕ ਮਾਡਲ ਪੰਛੀ ਨੂੰ ਇੱਕ ਛੋਟੀ ਜਿਹੀ ਟੋਪੀ ਪਹਿਨਾਉਂਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਦੂਜਾ ਸਾਈਕਲ ਬਣਾਉਣ ਤੋਂ ਹੀ ਇਨਕਾਰ ਕਰ ਦਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਪੰਛੀ ਸਾਈਕਲ ਨਹੀਂ ਚਲਾ ਸਕਦੇ।
ਇੱਕ ਮਾਡਲ ਨੇ ਸਿਰਫ਼ ਇੱਕ ਪੰਛੀ ਬਣਾਉਣ ਲਈ 13,000 ਟੋਕਨ ਅਤੇ 25 ਸੈਂਟ ਦੀ ਵਰਤੋਂ ਕੀਤੀ।
ਇਹ ਡਰਾਇ