Claude Fable 5.1 ਦੀ ਕੀਮਤ $10 ਪ੍ਰਤੀ ਮਿਲੀਅਨ ਇਨਪੁਟ ਟੋਕਨ ਅਤੇ $50 ਪ੍ਰਤੀ ਮਿਲੀਅਨ ਆਉਟਪੁੱਟ ਟੋਕਨ ਹੈ। Opus 5 ਸਸਤਾ ਹੈ। ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਕੀ ਬੈਂਚਮਾਰਕ ਸਕੋਰਾਂ ਵਿੱਚ ਵਾਧਾ ਵਾਧੂ ਖਰਚੇ ਦੇ ਬਦਲੇ ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਮੁੱਲ ਰੱਖਣ ਯੋਗ ਹੈ ਜਾਂ ਨਹੀਂ।
ਦੋਵੇਂ ਮਾਡਲ 1 ਮਿਲੀਅਨ-ਟੋਕਨ ਕੰਟੈਕਸਟ ਵਿੰਡੋ (context window) ਅਤੇ 128 K ਆਉਟਪੁੱਟ ਸੀਲਿੰਗ ਦੇ ਨਾਲ ਆਉਂਦੇ ਹਨ, ਇਸ ਲਈ ਅੱਪਗ੍ਰੇਡ ਕਰਨ ਨਾਲ ਵਧੇਰੇ ਮੈਮੋਰੀ ਨਹੀਂ ਮਿਲਦੀ। ਫਾਇਦਾ ਇਸ ਗੱਲ ਵਿੱਚ ਹੈ ਕਿ ਮਾਡਲ ਕਿਵੇਂ ਤਰਕ (reasoning) ਕਰਦੇ ਹਨ। Fable 5.1 ਵਿੱਚ ਇੱਕ ਅਡੈਪਟਿਵ ਥਿੰਕਿੰਗ ਇੰਜਣ ਜੋੜਿਆ ਗਿਆ ਹੈ ਜੋ ਘੱਟ ਤੋਂ ਲੈ ਕੇ ਵੱਧ ਤੋਂ ਵੱਧ ਤੱਕ ਪੰਜ ਕੋਸ਼ਿਸ਼ ਪੱਧਰਾਂ (effort levels) 'ਤੇ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਲਚਕਤਾ Opus 5 ਦੇ ਮੁਕਾਬਲੇ ਰਿਸਪਾਂਸ ਸਮੇਂ ਨੂੰ ਹੌਲੀ ਕਰ ਦਿੰਦੀ ਹੈ।
ਅੰਕੜੇ ਕੀ ਕਹਿੰਦੇ ਹਨ
ਉਹ ਬੈਂਚਮਾਰਕ ਜੋ ਵਿਗਿਆਨਕ ਤਰਕ ਅਤੇ ਆਟੋਮੇਸ਼ਨ 'ਤੇ ਜ਼ੋਰ ਦਿੰਦੇ ਹਨ, ਸਭ ਤੋਂ ਵੱਡੇ ਅੰਤਰ ਦਿਖਾਉਂਦੇ ਹਨ:
- Terminal-Bench-Science 0.1 Opus 5 ਦੇ ਨਾਲ 24.7% ਤੋਂ ਵਧ ਕੇ Fable 5.1 ਦੇ ਨਾਲ 52.6% ਹੋ ਜਾਂਦਾ ਹੈ।
- AutomationBench 17.1% ਤੋਂ ਵਧ ਕੇ 31.4% ਹੋ ਜਾਂਦਾ ਹੈ।
ਇਹ ਦੋ ਅੰਕਾਂ ਵਾਲਾ ਵਾਧਾ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ ਕਿ ਡੂੰਘੇ ਵਿਸ਼ਲੇਸ਼ਣ, ਕੋਡ ਜਨਰੇਸ਼ਨ, ਜਾਂ ਗੁੰਝਲਦਾਰ ਯੋਜਨਾਬੰਦੀ ਨੂੰ ਨਵੇਂ ਮਾਡਲ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਫਾਇਦਾ ਮਿਲਦਾ ਹੈ। ਇਸ ਦੇ ਉਲਟ, ਰੁਟੀਨ ਭਾਸ਼ਾ ਸੰਭਾਲ (language handling) 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਨ ਵਾਲੇ ਬੈਂਚਮਾਰਕ ਸਿਰਫ ਕੁਝ ਹੀ ਅੰਕ ਵਧਦੇ ਹਨ। ਉਦਾਹਰਨ ਲਈ, CursorBench, 70% ਤੋਂ ਵਧ ਕੇ 73.4% ਹੋ ਜਾਂਦਾ ਹੈ—ਜੋ ਕਿ ਦੁੱਗਣਾ ਭੁਗਤਾਨ ਕਰਨ ਦਾ ਕੋਈ ਖਾਸ ਕਾਰਨ ਨਹੀਂ ਲੱਗਦਾ।
ਜਦੋਂ ਵਾਧੂ ਖਰਚਾ ਜਾਇਜ਼ ਹੋਵੇ
ਉੱਚੀ ਕੀਮਤ ਨੂੰ ਉਹਨਾਂ ਕੰਮਾਂ (workloads) ਲਈ ਰੱਖੋ ਜਿੱਥੇ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਥੋੜ੍ਹਾ ਜਿਹਾ ਵਾਧਾ ਮਨੁੱਖੀ ਮਿਹਨਤ ਦੇ ਕਈ ਘੰਟੇ ਬਚਾ ਸਕਦਾ ਹੈ ਜਾਂ ਮਹਿੰਗੀਆਂ ਗਲਤੀਆਂ ਨੂੰ ਰੋਕ ਸਕਦਾ ਹੈ। ਡਿਵੈਲਪਰਾਂ ਨੇ Fable 5.1 ਨੂੰ ਇਹਨਾਂ ਕੰਮਾਂ ਲਈ ਸਭ ਤੋਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਪਾਇਆ ਹੈ:
- ਪੂਰੇ ਰੈਪੋਜ਼ਟਰੀ ਮਾਈਗ੍ਰੇਸ਼ਨ (Full-repository migrations) ਜਿੱਥੇ ਮਾਮੂਲੀ ਡਿਪੈਂਡੈਂਸੀ ਬਦਲਾਅ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦੇ ਹਨ।
- ਡੀਬੱਗ ਕਰਨ ਵਿੱਚ ਮੁਸ਼ਕਲ ਕੋਡ ਸੈਕਸ਼ਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਭਾਸ਼ਾ ਦੇ ਅਰਥਾਂ (semantics) ਦੀ ਡੂੰਘੀ ਸਮਝ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
- ਰਿਸਰਚ ਏਜੰਟ ਜੋ ਪੇਪਰਾਂ ਦਾ ਸਾਰ ਕੱਢਦੇ ਹਨ, ਪਰਿਕਲਪਨਾਵਾਂ (hypotheses) ਬਣਾਉਂਦੇ ਹਨ, ਜਾਂ ਪ੍ਰਯੋਗਿਕ ਡਿਜ਼ਾਈਨਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਹਨ।
- ਲੰਬੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦਾ ਸੰਸ਼ਲੇਸ਼ਣ (synthesis), ਜਿਵੇਂ ਕਿ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਤਿਆਰ ਕੀਤੀਆਂ ਗਈਆਂ ਵਿਆਪਕ ਰਿਪੋਰਟਾਂ।
ਇਹਨਾਂ ਸਥਿਤੀਆਂ ਵਿੱਚ, ਤਰਕ (reasoning) ਵਿੱਚ ਹੋਇਆ ਵਾਧਾ, ਹੌਲੀ ਲੈਟੈਂਸੀ (latency) ਅਤੇ ਉੱਚੇ ਟੋਕਨ ਖਰਚੇ ਨਾਲੋਂ ਵੱਧ ਫਾਇਦੇਮੰਦ ਹੈ।
ਕਿੱਥੇ ਸਸਤੇ ਮਾਡਲਾਂ ਨਾਲ ਹੀ ਰਹਿਣਾ ਚਾਹੀਦਾ ਹੈ
ਵੱਧ ਮਾਤਰਾ ਵਾਲੇ, ਘੱਟ ਗੁੰਝਲਦਾਰ ਕੰਮਾਂ ਲਈ, ਬਜਟ ਨੂੰ ਕੰਟਰੋਲ ਵਿੱਚ ਰੱਖਣ ਲਈ Opus 5—ਜਾਂ ਪੁਰਾਣੇ, ਸਸਤੇ ਮਾਡਲਾਂ—ਨਾਲ ਹੀ ਜੁੜੇ ਰਹੋ। ਆਮ ਵਰਤੋਂ ਦੇ ਮਾਮਲੇ ਹਨ:
- ਛੋਟੇ ਲੇਖਾਂ ਜਾਂ ਈਮੇਲਾਂ ਦਾ ਸਾਰ (summarization)।
- ਸਿੱਧੀ ਸ਼੍ਰੇਣੀਬੱਧਤਾ (classification) (ਸਪੈਮ ਡਿਟੈਕਸ਼ਨ, ਸੈਂਟੀਮੈਂਟ ਐਨਾਲਿਸਿਸ)।
- ਸਟ੍ਰਕਚਰਡ ਫਾਰਮਾਂ ਤੋਂ ਡੇਟਾ ਕੱਢਣਾ।
- ਛੋਟੇ ਸਪੋਰਟ ਜਵਾਬ ਜੋ ਇੱਕ ਨਿਸ਼ਚਿਤ ਟੈਂਪਲੇਟ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ।
ਕਿਉਂਕਿ ਇਹਨਾਂ ਕੰਮਾਂ 'ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਅੰਤਰ ਬਹੁਤ ਘੱਟ ਹੈ, ਇਸ ਲਈ Fable 5.1 ਦੀ ਵਾਧੂ ਕੀਮਤ ਬਹੁਤ ਘੱਟ ਹੀ ਫਾਇਦੇਮੰਦ ਹੁੰਦੀ ਹੈ।
ਇੱਕ ਵਿਵਹਾਰਕ ਮਾਈਗ੍ਰੇਸ਼ਨ ਚੈੱਕਲਿਸਟ
- ਆਪਣੇ ਟੋਕਨ ਖਰਚੇ ਦੀ ਜਾਂਚ ਕਰੋ। ਲੌਗਸ (logs) ਕੱਢੋ ਅਤੇ ਉਦੇਸ਼ ਅਨੁਸਾਰ ਕਾਲਾਂ ਨੂੰ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰੋ। ਜੇਕਰ ਜ਼ਿਆਦਾਤਰ ਖਪਤ ਸਾਰ (summarization) ਜਾਂ ਸ਼੍ਰੇਣੀਬੱਧਤਾ (classification) ਵਿੱਚ ਹੈ, ਤਾਂ ਉਹਨਾਂ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਸਸਤੇ ਪੱਧਰ 'ਤੇ ਹੀ ਰੱਖੋ।
- ਕੰਮਾਂ (workloads) ਨੂੰ ਸਮੂਹਾਂ ਵਿੱਚ ਵੰਡੋ। "ਉੱਚ-ਬੁੱਧੀ" (high-intelligence) ਅਤੇ "ਰੁਟੀਨ" ਕੰਮਾਂ ਲਈ ਵੱਖਰੀਆਂ ਕਿਊਆਂ (queues) ਬਣਾਓ। ਇਹ ਮਹਿੰਗੇ ਮਾਡਲ ਦੀ ਅਚਾਨਕ ਵੱਧ ਵਰਤੋਂ ਨੂੰ ਰੋਕਦਾ ਹੈ।
- ਪਾਇਲਟ ਚਲਾਓ। ਇੱਕ ਸਿੰਗਲ ਪ੍ਰੋਡਕਸ਼ਨ ਕਾਲ ਨੂੰ Fable 5.1 ਨਾਲ ਬਦਲੋ ਅਤੇ ਅਸਲ ਟ੍ਰੇਸ (traces) ਨੂੰ ਦੁਬਾਰਾ ਚਲਾਓ। ਲੈਟੈਂਸੀ ਅਤੇ ਅੰਤ-ਤੱਕ ਕਾਰਜ ਦੀ ਸਫਲਤਾ ਨੂੰ ਮਾਪੋ—ਕੀ ਕੰਮ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਪੂਰਾ ਹੋਇਆ?
- ਖਰਚੇ ਬਨਾਮ ਨਤੀਜੇ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ। ਸਫਲਤਾ ਦੀ ਦਰ ਜਾਂ ਬਚੇ ਹੋਏ ਸਮੇਂ ਵਿੱਚ ਹੋਏ ਬਦਲਾਅ ਨੂੰ ਟ੍ਰੈਕ ਕਰੋ। ਜੇਕਰ ਸੁਧਾਰ ਘੱਟ ਹੈ, ਤਾਂ ਵਾਪਸ ਸਸਤੇ ਮਾਡਲ 'ਤੇ ਚਲੇ ਜਾਓ।
- ਕੋਸ਼ਿਸ਼ ਦੇ ਪੱਧਰਾਂ (effort levels) ਨੂੰ ਵਾਰ-ਵਾਰ ਪਰਖੋ। Fable 5.1 ਤੁਹਾਨੂੰ ਤਰਕ ਦੀ ਤੀਬਰਤਾ (reasoning intensity) ਨੂੰ ਘਟਾਉਣ ਜਾਂ ਵਧਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਸਭ ਤੋਂ ਘੱਟ ਪੱਧਰ ਤੋਂ ਸ਼ੁਰੂ ਕਰੋ ਅਤੇ ਸਿਰਫ ਉਦੋਂ ਹੀ ਵਧਾਓ ਜੇਕਰ ਨਤੀਜਾ ਸੰਤ