ਇਸ ਮਹੀਨੇ Hugging Face ਪੇਪਰ ਰੈਂਕਿੰਗਾਂ ਇੱਕ ਵਿਕਸਤ ਹੁੰਦੇ ਖੇਤਰ ਦਾ ਖੁਲਾਸਾ ਕਰਦੀਆਂ ਹਨ। ਮੋਹਰੀ ਕੰਮ ਸਿਰਫ਼ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਿਣਤੀ ਵਧਾਉਣ ਬਾਰੇ ਨਹੀਂ ਹੈ, ਸਗੋਂ ਮਾਡਲਾਂ ਨੂੰ ਦੇਖਣ, ਯਾਦ ਰੱਖਣ ਅਤੇ ਜੋ ਉਹ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ ਉਸ ਨੂੰ ਪੂਰਾ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਣ ਬਾਰੇ ਹੈ। ਹੇਠਾਂ ਦਿੱਤੇ ਦਸ ਪੇਪਰ ਰੀਅਲ-ਟਾਈਮ ਵੀਡੀਓ, ਰੋਬੋਟਿਕ ਗਿਆਨ (robot cognition), ਇਮਾਨਦਾਰ ਬੈਂਚਮਾਰਕਿੰਗ, ਅਤੇ ਜਨਰੇਟਰਾਂ ਨੂੰ ਅਧਿਆਪਕਾਂ ਵਜੋਂ ਵਰਤਣ ਦੀ ਸ਼ਾਂਤ ਕ੍ਰਾਂਤੀ ਬਾਰੇ ਹਨ।
ਰੀਅਲ-ਟਾਈਮ ਵੀਡੀਓ ਜਿਸਦੀ ਤੁਸੀਂ ਅਸਲ ਵਿੱਚ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ
ਜ਼ਿਆਦਾਤਰ ਵੀਡੀਓ ਮਾਡਲ ਅਜੇ ਵੀ ਮਹਿੰਗੇ ਪ੍ਰਯੋਗਸ਼ਾਲਾ ਦੇ ਪ੍ਰਯੋਗਾਂ ਵਾਂਗ ਕੰਮ ਕਰਦੇ ਹਨ। ਉਹ ਭਾਰੀ ਹਾਰਡਵੇਅਰ 'ਤੇ ਕਈ ਮਿੰਟਾਂ ਤੱਕ ਚੱਲਦੇ ਹਨ ਅਤੇ ਅਜਿਹੀਆਂ ਕਲਿੱਪਾਂ ਬਣਾਉਂਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਚੱਲਦੇ ਸਮੇਂ ਕੰਟਰੋਲ ਨਹੀਂ ਕਰ ਸਕਦੇ। Vidu S1 ਇਸ ਸਥਿਤੀ ਨੂੰ ਬਦਲ ਦਿੰਦਾ ਹੈ। ਇਹ ਰੀਅਲ-ਟਾਈਮ ਇੰਟਰੈਕਸ਼ਨ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਉਪਭੋਗਤਾ TurboDiffusion ਨਾਮਕ ਤਕਨੀਕ ਰਾਹੀਂ ਮਾਡਲ ਨੂੰ ਸਟੈਂਡਰਡ ਕੰਸਿਊਮਰ GPUs 'ਤੇ ਚਲਾਉਂਦੇ ਹੋਏ ਆਵਾਜ਼ ਦੇ ਹੁਕਮਾਂ ਨਾਲ ਡਿਜੀਟਲ ਪਾਤਰਾਂ ਨੂੰ ਨਿਰਦੇਸ਼ ਦੇ ਸਕਦੇ ਹਨ।
ਹਾਰਡਵੇਅਰ ਵਿੱਚ ਇਹ ਬਦਲਾਅ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਜਦੋਂ ਕੋਈ ਮਾਡਲ ਹੁਣ ਉੱਚ-ਦਰਜੇ ਦੇ ਐਕਸਲਰੇਟਰਾਂ ਦੀ ਮੰਗ ਨਹੀਂ ਕਰਦਾ, ਤਾਂ ਇਹ ਸਿਰਫ਼ ਇੱਕ ਡੈਮੋ ਨਹੀਂ ਰਹਿੰਦਾ ਬਲਕਿ ਇੱਕ ਬੁਨਿਆਦੀ ਢਾਂਚਾ (infrastructure) ਬਣ ਜਾਂਦਾ ਹੈ। ਲਾਈਵ-ਸਟ੍ਰੀਮਿੰਗ ਅਵਤਾਰਾਂ ਬਾਰੇ ਸੋਚੋ ਜੋ ਰੀਅਲ-ਟਾਈਮ ਵਿੱਚ ਚੈਟ 'ਤੇ ਪ੍ਰਤੀਕਿਰਿਆ ਕਰਦੇ ਹਨ, ਜਾਂ ਗਾਹਕ-ਸੇਵਾ ਪਾਤਰ ਜੋ ਲੋੜ ਅਨੁਸਾਰ ਨਜ਼ਰ ਮਿਲਾਉਂਦੇ ਹਨ ਅਤੇ ਆਪਣਾ ਲਹਿਜਾ ਬਦਲਦੇ ਹਨ। Vidu S1 ਅਜਿਹੇ ਵੀਡੀਓ AI ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ ਜੋ ਸਿਰਫ਼ ਇੱਕ ਖੋਜ ਪੇਪਰ ਨਹੀਂ, ਸਗੋਂ ਇੱਕ ਉਤਪਾਦ ਵਜੋਂ ਉਪਲਬਧ ਹੋਵੇਗਾ।
ਰੋਬੋਟ ਜੋ ਦਿਸ਼ਾਵਾਂ ਨੂੰ ਸਮਝਦੇ ਹਨ
ਫਿਜ਼ੀਕਲ AI ਲਈ ਨੇਵੀਗੇਸ਼ਨ (navigation) ਅਜੇ ਵੀ ਇੱਕ ਮੁੱਖ ਰੁਕਾਵਟ ਹੈ। ABot-N1 ਆਮ ਭਾਸ਼ਾ ਦੇ ਨਿਰਦੇਸ਼ਾਂ ਦੁਆਰਾ ਚਲਾਏ ਜਾਣ ਵਾਲੇ ਰੋਬੋਟ ਨੇਵੀਗੇਸ਼ਨ ਲਈ ਇੱਕ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲ ਪੇਸ਼ ਕਰਕੇ ਇਸ ਸਮੱਸਿਆ ਦਾ ਹੱਲ ਕਰਦਾ ਹੈ। ਪਹਿਲਾਂ ਤੋਂ ਨਕਸ਼ੇ ਕੀਤੇ ਹੋਏ ਕਮਜ਼ੋਰ ਰੂਟਾਂ ਦੀ ਬਜਾਏ, ਇਹ ਸਿਸਟਮ ਜੋ ਕੁਝ ਦੇਖਦਾ ਅਤੇ ਸੁਣਦਾ ਹੈ ਉਸ ਵਿੱਚ ਪੈਟਰਨਾਂ ਨੂੰ ਪਛਾਣ ਕੇ ਵੱਖ-ਵੱਖ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਚੱਲਣਾ ਸਿੱਖਦਾ ਹੈ।
ਇਸਦਾ ਤੁਰੰਤ ਫਾਇਦਾ ਲੌਜਿਸਟਿਕਸ (logistics) ਵਿੱਚ ਹੈ। ਜੇਕਰ ਕਿਸੇ ਡਿਲੀਵਰੀ ਰੋਬੋਟ ਨੂੰ "ਬਾਈਕ ਰੈਕ ਤੋਂ ਅੱਗੇ ਸਾਈਡ ਐਂਟਰੈਂਸ 'ਤੇ ਪੈਕੇਜ ਰੱਖ ਦਿਓ" ਵਰਗਾ ਜ਼ੁਬਾਨੀ ਹੁਕਮ ਦਿੱਤਾ ਜਾਵੇ, ਤਾਂ ਉਹ ਉਸ ਨਿਰਦੇਸ਼ ਨੂੰ ਸਮਝ ਸਕਦਾ ਹੈ ਅਤੇ ਰੈਕ ਦੀ ਜਗ੍ਹਾ ਬਦਲਣ 'ਤੇ ਆਪਣੇ ਆਪ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾ ਸਕਦਾ ਹੈ। ਹੋਮ ਅਸਿਸਟੈਂਟਾਂ ਨੂੰ ਵੀ ਅਜਿਹੀ ਲਚਕਤਾ ਮਿਲੇਗੀ, ਜੋ ਪਹਿਲਾਂ ਤੋਂ ਅਪਲੋਡ ਕੀਤੇ ਹੋਏ ਸਹੀ ਫਲੋਰ ਪਲਾਨਾਂ ਤੋਂ ਬਿਨਾਂ ਅਪਾਰਟਮੈਂਟਾਂ ਵਿੱਚ ਘੁੰਮ ਸਕਣਗੇ।
ਰੋਬੋਟ ਜੋ ਬੀਤਿਆ ਕੱਲ੍ਹ ਯਾਦ ਰੱਖਦੇ ਹਨ
ABot-AgentOS ਉਸ ਨੇਵੀਗੇਸ਼ਨ ਕੰਮ ਦੇ ਨਾਲ ਮਿਲ ਕੇ ਇੱਕ ਵੱਖਰੀ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ: ਰੋਬੋਟ ਆਮ ਤੌਰ 'ਤੇ ਹਰ ਕਮਾਂਡ ਤੋਂ ਬਾਅਦ ਰੀਸੈੱਟ ਹੋ ਜਾਂਦੇ ਹਨ। ਇਹ ਸਿਸਟਮ ਮਸ਼ੀਨ ਨੂੰ ਉਪਭੋਗਤਾਵਾਂ, ਵਸਤੂਆਂ ਅਤੇ ਰੋਜ਼ਾਨਾ ਆਦਤਾਂ ਲਈ ਲੰਬੇ ਸਮੇਂ ਦੀ ਯਾਦਦਾਸ਼ਤ ਵਾਲੇ ਇੱਕ ਸਥਿਰ ਏਜੰਟ ਵਜੋਂ ਮੰਨਦਾ ਹੈ।
ਇੱਕ ਵਾਰੀ ਕੰਮ ਕਰਨ ਵਾਲੇ ਪ੍ਰੋਸੈਸਰ ਅਤੇ ਇੱਕ ਲਗਾਤਾਰ ਕੰਮ ਕਰਨ ਵਾਲੇ ਏਜੰਟ ਵਿਚਕਾਰ ਫਰਕ ਇੱਕ ਸੰਦ (tool) ਅਤੇ ਇੱਕ ਸਾਥੀ (coworker) ਵਿਚਕਾਰ ਫਰਕ ਵਾਂਗ ਹੈ। ਵੇਅਰਹਾਊਸ ਆਟੋਮੇਸ਼ਨ ਵਿੱਚ, ਯਾਦਦਾਸ਼ਤ ਵਾਲਾ ਰੋਬੋਟ ਨੋਟ ਕਰਦਾ ਹੈ ਕਿ ਮੰਗਲਵਾਰ ਦੀਆਂ ਸ਼ਿਪਮੈਂਟਾਂ ਵਿੱਚ ਹਮੇਸ਼ਾ ਨਾਜ਼ੁਕ ਚੀਜ਼ਾਂ ਹੁੰਦੀਆਂ ਹਨ ਅਤੇ ਉਹ ਆਪਣੀ ਪਕੜ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾ ਲੈਂਦਾ ਹੈ। ਘਰੇਲੂ ਦੇਖਭਾਲ ਲਈ, ਇਸਨੂੰ ਯਾਦ ਰਹੇਗਾ ਕਿ ਕੋਈ ਖਾਸ ਨਿਵਾਸੀ ਦੁਪਹਿਰ 3 ਵਜੇ ਪਰਦੇ ਅੱਧੇ ਖੁੱਲ੍ਹੇ ਰੱਖਣਾ ਪਸੰਦ ਕਰਦਾ ਹੈ। ਇਹ ਨਿਰੰਤਰਤਾ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਨਿੱਜੀਕਰਨ (personalization) ਨੂੰ ਸੰਭਵ ਬਣਾਉਂਦੀ ਹੈ।
ਵੀਡੀਓ ਬੈਂਚਮਾਰਕਸ ਦੀ ਅਸਲੀਅਤ ਨੂੰ ਉਜਾਗਰ ਕਰਨਾ
Video-Oasis ਇੱਕ ਅਸੁਖਾਵੀਂ ਸੱਚਾਈ ਸਾਹਮਣੇ ਲਿਆਉਂਦਾ ਹੈ: ਬਹੁਤ ਸਾਰੇ ਪ੍ਰਸਿੱਧ ਵੀਡੀਓ ਅੰਡਰਸਟੈਂਡਿੰਗ ਬੈਂਚਮਾਰਕ ਖਰਾਬ ਹਨ। ਮਾਡਲ ਅਕਸਰ ਸਿਰਫ਼ ਟੈਕਸਟ ਗਿਆਨ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦਿੰਦੇ ਹਨ, ਅਤੇ ਅਸਲ ਫਰੇਮਾਂ ਨੂੰ ਦੇਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਵੀ ਨਹੀਂ ਕਰਦੇ। ਇਹ ਪੇਪਰ ਸਾਬਤ ਕਰਦਾ ਹੈ ਕਿ ਮੌਜੂਦਾ ਬੈਂਚਮਾਰਕ ਸਵਾਲਾਂ ਵਿੱਚੋਂ ਅੱਧੇ ਕਿਸੇ ਵੀ ਵਿਜ਼ੂਅਲ ਇਨਪੁਟ ਤੋਂ ਬਿਨਾਂ ਹੱਲ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ।
ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਖੋਜਕਰਤਾ ਸਹੀ ਸਮਝ ਦੀ ਬਜਾਏ ਚਲਾਕ ਅੰਦਾਜ਼ੇ ਲਗਾਉਣ ਨੂੰ ਇਨਾਮ ਦੇ ਰਹੇ ਹਨ। ਭਾਈਚਾਰੇ ਨੂੰ ਅਜਿਹੇ ਮੁਲਾਂਕਣ ਪ੍ਰੋਟੋਕੋਲ ਦੀ ਲੋੜ ਹੈ ਜੋ ਮਾਡਲਾਂ ਨੂੰ ਹਰ ਜਵਾਬ ਨੂੰ ਪਿਕਸਲ-ਪੱਧਰ ਦੇ ਸਬੂਤਾਂ 'ਤੇ ਅਧਾਰਤ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰਨ। ਨਹੀਂ ਤਾਂ, ਅਸੀਂ ਅਜਿਹੇ ਸਿਸਟਮ ਬਣਾਉਣ ਦਾ ਖਤਰਾ ਲੈਂਦੇ ਹਾਂ ਜੋ ਰੌਸ਼ਨੀ ਬਦਲਣ 'ਤੇ ਬੜੇ ਭਰੋਸੇ ਨਾਲ ਗਲਤ ਜਾਣਕਾਰੀ (hallucinate) ਦੇ ਸਕਦੇ ਹਨ।
ਕੋਡਿੰਗ ਏਜੰਟ ਜੋ ਲੰਬੇ ਕੰਮ ਪੂਰੇ ਕਰਦੇ ਹਨ
ਕੋਡਿੰਗ ਸਹਾਇਕ (assistants) ਛੋਟੇ ਕੋਡ (snippets) ਚੰਗੀ ਤਰ੍ਹਾਂ ਲਿਖਦੇ ਹਨ, ਪਰ ਸੌ-ਕਦਮਾਂ ਵਾਲੇ DevOps ਵਰਕਫਲੋ ਅਜੇ ਵੀ ਇੱਕ ਚੁਣੌਤੀ ਬਣੇ ਹੋਏ ਹਨ। Long-Horizon-Terminal-Bench ਇਹ ਟੈਸ