Probably ਨੇ ਪ੍ਰੀਸੀਜ਼ਨ ਇੰਜੀਨੀਅਰਿੰਗ ਰਾਹੀਂ LLM ਹਲੂਸੀਨੇਸ਼ਨਾਂ (hallucinations) ਨਾਲ ਲੜਨ ਲਈ $9M ਇਕੱਠੇ ਕੀਤੇ
ਜਿਵੇਂ-ਜਿਵੇਂ ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲ (LLMs) ਪੇਸ਼ੇਵਰ ਵਰਕਫਲੋਜ਼ ਵਿੱਚ ਵਧੇਰੇ ਰਚਨਾਤਮਕ ਹੋ ਰਹੇ ਹਨ, ਉਦਯੋਗ ਨੂੰ ਇੱਕ ਲਗਾਤਾਰ ਰੁਕਾਵਟ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈ ਰਿਹਾ ਹੈ: ਇੱਥੋਂ ਤੱਕ ਕਿ ਸਭ ਤੋਂ ਉੱਨਤ ਮਾਡਲਾਂ ਵਿੱਚ ਵੀ ਹਲੂਸੀਨੇਸ਼ਨ (hallucinate) ਕਰਨ ਦੀ ਪ੍ਰਵਿਰਤੀ ਹੁੰਦੀ ਹੈ। ਸਟਾਰਟਅੱਪ Probably ਇਸ ਚੁਣੌਤੀ ਦਾ ਸਿੱਧਾ ਸਾਹਮਣਾ ਕਰ ਰਿਹਾ ਹੈ, ਜਿਸ ਨੇ AI ਭਰੋਸੇਯੋਗਤਾ ਲਈ ਇੱਕ ਵਧੇਰੇ ਸਖ਼ਤ ਅਤੇ ਡਿਟਰਮਨਿਸਟਿਕ (deterministic) ਪਹੁੰਚ ਬਣਾਉਣ ਲਈ Andreessen Horowitz ਦੀ ਅਗਵਾਈ ਵਿੱਚ $9 ਮਿਲੀਅਨ ਦੀ ਸੀਡ ਫੰਡਿੰਗ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ।
99.99% ਸ਼ੁੱਧਤਾ ਵੱਲ ਵਧਣਾ
ਸੰਸਥਾਪਕ Peter Elias ਦੀ ਅਗਵਾਈ ਵਾਲੇ Probably ਦਾ ਮੁੱਖ ਮਿਸ਼ਨ LLMs ਦੇ ਸੰਭਾਵਨਾਤਮਕ ਸੁਭਾਅ (probabilistic nature) ਅਤੇ ਡਿਟਰਮਨਿਸਟਿਕ ਸਿਸਟਮਾਂ ਤੋਂ ਉਮੀਦ ਕੀਤੀ ਜਾਣ ਵਾਲੀ 99.99% ਸ਼ੁੱਧਤਾ ਦੇ ਮਿਆਰ ਦੇ ਵਿਚਕਾਰਲੇ ਪਾੜੇ ਨੂੰ ਪੂਰਨਾ ਹੈ। ਉੱਚ-ਜੋਖਮ ਵਾਲੇ ਮਾਹੌਲ ਵਿੱਚ, ਇੱਕ ਇਕੱਲੀ ਤੱਥਕੀ ਗਲਤੀ ਇੱਕ AI ਟੂਲ ਨੂੰ ਬੇਕਾਰ ਬਣਾ ਸਕਦੀ ਹੈ। ਇਸ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, Probably ਇਸ ਵਿਚਾਰ ਤੋਂ ਦੂਰ ਜਾ ਰਿਹਾ ਹੈ ਕਿ ਸ਼ੁੱਧਤਾ ਸਿਰਫ਼ ਮਾਡਲ ਦੇ ਆਕਾਰ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਅਤੇ ਇਸ ਦੀ ਬਜਾਏ "harness engineering" 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰ ਰਿਹਾ ਹੈ।
ਕੰਪਨੀ ਦਾ ਪ੍ਰਮੁੱਖ ਉਤਪਾਦ ਇੱਕ ਡਾਟਾ ਸਾਇੰਸ ਟੂਲ ਹੈ ਜੋ ਗੁੰਝਲਦਾਰ ਡੇਟਾਸੈਟਸ ਤੋਂ ਜਾਣਕਾਰੀ (insights) ਕੱਢਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਸਟੈਂਡਰਡ ਚੈਟਬੋਟਸ ਦੇ ਉਲਟ ਜੋ ਗੱਲਬਾਤ ਵਾਲੇ ਜਵਾਬ ਦਿੰਦੇ ਹਨ, Probably ਦਾ ਟੂਲ ਹਰ ਜਵਾਬ ਦੇ ਨਾਲ ਇੱਕ ਖਾਸ ਹਵਾਲਾ (citation) ਅਤੇ ਇੱਕ ਪਾਰਦਰਸ਼ੀ ਆਡਿਟ ਟ੍ਰੇਲ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜੋ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਹਰ ਆਉਟਪੁੱਟ ਦੇ ਪਿੱਛੇ ਦੇ ਤਰਕ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
"Data Science Mech Suit" ਆਰਕੀਟੈਕਚਰ
ਇੱਕ ਵਿਸ਼ਾਲ ਮਾਡਲ ਦੀਆਂ ਤਰਕ ਕਰਨ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ 'ਤੇ ਸਿਰਫ਼ ਨਿਰਭਰ ਰਹਿਣ ਦੀ ਬਜਾਏ, Probably ਉਸ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜਿਸ ਨੂੰ Elias "data science mech suit" ਕਹਿੰਦੇ ਹਨ। ਇਹ ਆਰਕੀਟੈਕਚਰ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਹਾਰਨੈਸ ਸਿਸਟਮ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ ਜਿੱਥੇ LLM ਦੇ ਸ਼ੁਰੂਆਤੀ ਆਉਟਪੁੱਟ ਦੀ ਤੁਰੰਤ ਇੱਕ ਡਿਟਰਮਨਿਸਟਿਕ ਵੈਲੀਡੇਟਰ ਦੁਆਰਾ ਜਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
ਜੇਕਰ LLM ਅਜਿਹਾ ਨਤੀਜਾ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜੋ ਅਧਾਰਤ ਡੇਟਾਸੈਟ ਨਾਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਮੇਲ ਨਹੀਂ ਖਾਂਦਾ, ਤਾਂ ਵੈਲੀਡੇਟਰ ਇਸ ਨੂੰ ਰੱਦ ਕਰ ਦਿੰਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਗੱਲ ਇਹ ਹੈ ਕਿ LLM ਨੂੰ ਖਾਸ ਤੌਰ 'ਤੇ ਇਸ ਵੈਲੀਡੇਟਰ ਦੇ ਵਿਰੁੱਧ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ, ਜੋ ਰਫ਼ਤਾਰ ਅਤੇ ਤੱਥਕੀ ਅਖੰਡਤਾ ਲਈ ਅਨੁਕੂਲਿਤ ਇੱਕ ਕਲੋਜ਼ਡ-ਲੂਪ ਸਿਸਟਮ ਬਣਾਉਂਦਾ ਹੈ। ਇਹ ਪਹੁੰਚ ਇੱਕ ਮੂਲ ਸਿਧਾਂਤ 'ਤੇ ਕੰਮ ਕਰਦੀ ਹੈ: ਇੰਜੀਨੀਅਰਿੰਗ ਰਾਹੀਂ ਸੰਦਰਭ (context) ਨੂੰ ਸੁਧਾਰ ਕੇ ਅਤੇ ਅਸਪਸ਼ਟਤਾ ਨੂੰ ਘਟਾ ਕੇ, ਤੁਸੀਂ ਬਿਨਾਂ ਕਿਸੇ ਵਿਸ਼ਾਲ ਕੰਪਿਊਟੇਸ਼ਨਲ ਬਰੂਟ ਫੋਰਸ ਦੀ ਲੋੜ ਦੇ ਮਾਡਲ ਨੂੰ "ਸਹੀ ਕੰਮ ਕਰਨ" ਲਈ ਮਜਬੂਰ ਕਰ ਸਕਦੇ ਹੋ।
ਛੋਟੇ, ਸਥਾਨਕ ਮਾਡਲਾਂ ਰਾਹੀਂ ਕੁਸ਼ਲਤਾ
Probably ਦੇ ਪਹੁੰਚ ਦਾ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਤਕਨੀਕੀ ਪ੍ਰਭਾਵ ਛੋਟੇ, ਵਧੇਰੇ ਕੁਸ਼ਲ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਹੈ। ਕਿਉਂਕਿ "mech suit" ਵੈਲੀਡੇਸ਼ਨ ਅਤੇ ਸੰਦਰਭ ਸੁਧਾਰ ਦਾ ਮੁੱਖ ਕੰਮ (heavy lifting) ਸੰ
ਇਸ ਤਬਦੀਲੀ ਦੇ ਵੱਡੇ ਆਰਥਿਕ ਅਤੇ ਸੰਚਾਲਨ ਲਾਭ ਹਨ:
- ਟੋਕਨ ਲਾਗਤ ਵਿੱਚ ਕਮੀ: ਛੋਟੇ ਮਾਡਲ ਪ੍ਰਤੀ-ਪੁੱਛਗਿੱਛ (per-query) ਲਾਗਤ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾ ਦਿੰਦੇ ਹਨ, ਜੋ ਕਿ ਉਦਯੋਗਾਂ ਲਈ ਆਪਣੇ AI ਬਜਟ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਵੇਲੇ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਾਰਕ ਹੈ।
- ਲੋਕਲ ਐਗਜ਼ੀਕਿਊਸ਼ਨ: ਇਹ ਹਲਕੇ ਮਾਡਲ ਮਹਿੰਗੇ ਅਤੇ ਉੱਚ-ਲੈਟੈਂਸੀ ਵਾਲੇ ਡਾਟਾ ਸੈਂਟਰ ਕਨੈਕਸ਼ਨਾਂ ਦੀ ਲੋੜ ਪਾਉਣ ਦੀ ਬਜਾਏ, ਡੈਸਕਟਾਪ ਕੰਪਿਊਟਰਾਂ ਵਰਗੇ ਲੋਕਲ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚੱਲ ਸਕਦੇ ਹਨ।
- ਸਕੇਲੇਬਿਲਟੀ: ਇਹ ਇੰਜਣ ਡਾਟਾ ਸਾਇੰਸ ਤੋਂ ਅੱਗੇ ਵਧ ਕੇ ਅਕਾਊਂਟਿੰਗ ਅਤੇ ਮੈਡੀਕਲ ਸੇਵਾਵਾਂ ਵਰਗੇ ਸ਼ੁੱਧਤਾ-ਸੰਵੇਦਨਸ਼ੀਲ ਖੇਤਰਾਂ ਤੱਕ ਵਿਸਤਾਰ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।
ਵੱਡੀਆਂ AI ਲੈਬਾਂ ਦੇ ਇਨਸੈਂਟਿਵ ਮਾਡਲ ਨੂੰ ਚੁਣੌਤੀ ਦੇਣਾ
ਐਲੀਅਸ ਮੌਜੂਦਾ AI ਲੈਂਡਸਕੇਪ ਵਿੱਚ ਇੱਕ ਸੰਰਚਨਾਤਮਕ ਅਸੰਤੁਲਨ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਹਨ: ਵੱਡੀਆਂ AI ਲੈਬਾਂ ਨੂੰ ਵਿਸ਼ਾਲ, ਆਮ-ਮੰਤਵ ਵਾਲੇ ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਲਈ ਵਾਰ-ਵਾਰ ਉਪਭੋਗਤਾ ਦੁਆਰਾ ਸੁਧਾਰ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਕਿਉਂਕਿ ਇਹ ਲੈਬਾਂ ਅਕਸਰ ਟੋਕਨ ਦੀ ਵਰਤੋਂ ਦੇ ਅਧਾਰ 'ਤੇ ਚਾਰਜ ਕਰਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਵਧੇਰੇ ਗਲਤੀਆਂ ਅਤੇ ਵਧੇਰੇ ਅਗਲੇਰੀਆਂ ਪੁੱਛਗਿੱਛਾਂ ਅਸਲ ਵਿੱਚ ਮਾਲੀਆ ਵਧਾ ਸਕਦੀਆਂ ਹਨ। ਸਕੇਲ (scale) ਦੀ ਬਜਾਏ ਇੰਜੀਨੀਅਰਿੰਗ ਰਾਹੀਂ ਸ਼ੁੱਧਤਾ ਅਤੇ "ਅਸਪਸ਼ਟਤਾ ਨੂੰ ਘਟਾਉਣ" 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਕੇ, Probably ਮਿਸ਼ਨ-ਕ੍ਰਿਟੀਕਲ AI ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਇੱਕ ਖਾਸ ਜਗ੍ਹਾ ਬਣਾ ਰਿਹਾ ਹੈ ਜਿੱਥੇ ਭਰੋਸੇਯੋਗਤਾ ਹੀ ਇਕਮਾਤਰ ਮਹੱਤਵਪੂਰਨ ਮਾਪਦੰਡ ਹੈ।
ਮੁੱਖ ਗੱਲਾਂ
- ਡਿਟਰਮਿਨਿਸਟਿਕ ਵੈਲੀਡੇਸ਼ਨ: Probably 99.99% ਸ਼ੁੱਧਤਾ ਦਾ ਟੀਚਾ ਰੱਖਦੇ ਹੋਏ, LLM ਆਉਟਪੁੱਟ ਦੀ ਇੱਕ ਡਿਟਰਮਿਨਿਸਟਿਕ ਵੈਲੀਡੇਟਰ ਨਾਲ ਜਾਂਚ ਕਰਨ ਲਈ "mech suit" ਆਰਕੀਟੈਕਚਰ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
- ਕੋਸ-ਇਫੈਕਟਿਵ ਇੰਜੀਨੀਅਰਿੰਗ: ਬਿਹਤਰ ਕੰਟੈਕਸਟ ਇੰਜੀਨੀਅਰਿੰਗ ਰਾਹੀਂ ਅਸਪਸ਼ਟਤਾ ਨੂੰ ਘਟਾ ਕੇ, ਇਹ ਸਿਸਟਮ ਬਹੁਤ ਛੋਟੇ ਅਤੇ ਸਸਤੇ ਮਾਡਲਾਂ 'ਤੇ ਚੱਲ ਸਕਦਾ ਹੈ ਜੋ ਲੋਕਲ ਹਾਰਡਵੇਅਰ 'ਤੇ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ।
- ਸ਼ੁੱਧਤਾ-ਪਹਿਲਾਂ ਫੋਕਸ: ਇਹ ਤਕਨਾਲੋਜੀ AI ਨੂੰ ਮੈਡੀਸਨ ਅਤੇ ਫਾਈਨਾਂਸ ਵਰਗੇ ਉੱਚ-ਜੋਖਮ ਵਾਲੇ ਅਤੇ ਸ਼ੁੱਧਤਾ-ਸੰਵੇਦਨਸ਼ੀਲ ਉਦਯੋਗਾਂ ਵਿੱਚ ਲੈ ਜਾਣ ਲਈ ਤਿਆਰ ਕੀਤੀ ਗਈ ਹੈ ਜਿੱਥੇ hallucinations ਅਸਵੀਕਾਰਯੋਗ ਹਨ।