NVIDIA NEMOTRON 3.5 LIGHTNING ਹੁਣ AWS 'ਤੇ ਉਪਲਬਧ ਹੈ
NVIDIA ਦਾ Nemotron 3.5 Lightning ਹੁਣ Amazon SageMaker JumpStart ਰਾਹੀਂ ਉਪਲਬਧ ਹੈ। ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਵੱਖਰਾ NVIDIA ਹਾਰਡਵੇਅਰ ਖਰੀਦੇ ਬਿਨਾਂ ਜਾਂ ਕਸਟਮ ਡਿਪਲੌਇਮੈਂਟ ਕੋਡ ਲਿਖੇ ਆਪਣੇ ਮੌਜੂਦਾ AWS ਖਾਤਿਆਂ ਦੇ ਅੰਦਰ ਮਾਡਲ ਨੂੰ ਚਲਾਉਣ (spin up) ਦੀ ਸਹੂਲਤ ਮਿਲਦੀ ਹੈ।
ਇਹ ਕਦਮ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
ਪਹਿਲਾਂ, ਟੀਮਾਂ ਨੂੰ ਇੱਕ ਵੱਖਰਾ GPU ਕਲੱਸਟਰ ਬਣਾਉਣਾ ਪੈਂਦਾ ਸੀ ਜਾਂ ਕਿਸੇ ਮੈਨੇਜਡ ਸਰਵਿਸ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਪੈਂਦੀ ਸੀ, ਜਿਸ ਨਾਲ ਅਬਸਟਰੈਕਸ਼ਨ (abstraction) ਦੀਆਂ ਵਾਧੂ ਪਰਤਾਂ ਜੁੜ ਜਾਂਦੀਆਂ ਸਨ। ਇਹਨਾਂ ਕਦਮਾਂ ਕਾਰਨ ਪੂੰਜੀ ਖਰਚਾ (capital expense) ਅਤੇ ਕਾਰਜਸ਼ੀਲਤਾ ਦੀ ਗੁੰਝਲਤਾ ਵਧ ਜਾਂਦੀ ਸੀ, ਖਾਸ ਕਰਕੇ ਉਹਨਾਂ ਵਰਕਲੋਡਸ ਲਈ ਜੋ ਪਹਿਲਾਂ ਹੀ AWS 'ਤੇ ਚੱਲ ਰਹੇ ਹਨ। Nemotron 3.5 Lightning ਨੂੰ JumpStart ਆਫਰਿੰਗ ਵਜੋਂ ਪੈਕੇਜ ਕਰਕੇ, Amazon ਇਸ ਮਾਡਲ ਨੂੰ ਕੰਸੋਲ ਵਿੱਚ ਇੱਕ ਸਿੰਗਲ-ਕਲਿੱਕ ਚੋਣ ਬਣਾ ਦਿੰਦਾ ਹੈ—ਬਿਲਕੁਲ ਇੱਕ ਤਿਆਰ SaaS ਕੰਪੋਨੈਂਟ ਦੀ ਚੋਣ ਕਰਨ ਵਾਂਗ।
Nemotron 3.5 Lightning ਕੀ ਲਿਆਉਂਦਾ ਹੈ
ਇਹ ਮਾਡਲ NVIDIA ਦੀਆਂ ਪ੍ਰਮੁੱਖ (flagship) ਪੇਸ਼ਕਸ਼ਾਂ ਨਾਲੋਂ ਛੋਟਾ ਹੈ। ਇਹ ਘੱਟ ਲੇਟੈਂਸੀ (low latency) ਅਤੇ ਘੱਟ ਪ੍ਰਤੀ-ਟੋਕਨ ਲਾਗਤ 'ਤੇ ਕੇਂਦਰਿਤ ਹੈ, ਜੋ ਇਸਨੂੰ ਉੱਚ-ਵਾਲੀਅਮ ਵਾਲੇ, ਸਿੱਧੇ-ਸਾਧੇ ਕੰਮਾਂ ਲਈ ਇੱਕ ਵਧੀਆ ਵਿਕਲਪ ਬਣਾਉਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਲਈ ਡੂੰਘੀ ਤਰਕਸ਼ੀਲਤਾ (deep reasoning) ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ। ਆਮ ਵਰਤੋਂ ਦੇ ਮਾਮਲੇ (use cases) ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
- ਇੰਟੈਂਟ ਕਲਾਸੀਫਿਕੇਸ਼ਨ (Intent classification)
- ਛੋਟੇ ਸਾਰ (Short summaries)
- ਸਟ੍ਰਕਚਰਡ-ਡਾਟਾ ਐਕਸਟਰੈਕਸ਼ਨ (Structured-data extraction)
- ਸਪੋਰਟ-ਟਿਕਟ ਦੇ ਜਵਾਬਾਂ ਦਾ ਡਰਾਫਟ ਤਿਆਰ ਕਰਨਾ (Drafting support-ticket replies)
ਵਿਵਹਾਰਕ ਕਦਮ
- SageMaker ਕੰਸੋਲ ਖੋਲ੍ਹੋ ਅਤੇ JumpStart 'ਤੇ ਜਾਓ।
- ਮਾਡਲ ਕੈਟਾਲਾਗ ਵਿੱਚੋਂ Nemotron 3.5 Lightning ਦੀ ਚੋਣ ਕਰੋ।
- ਇੱਕ ਐਂਡਪੁਆਇੰਟ ਕੰਫਿਗਰ ਕਰੋ—ਇੱਕ ਇੰਸਟੈਂਸ ਟਾਈਪ ਚੁਣੋ, ਸਕੈਲਿੰਗ ਪਾਲਿਸੀਆਂ ਸੈੱਟ ਕਰੋ, ਅਤੇ ਲਾਂਚ ਕਰੋ।
ਤੁਹਾਨੂੰ ਵੱਖਰੇ NVIDIA ਡਰਾਈਵਰਾਂ, ਕੰਟੇਨਰ ਇਮੇਜਾਂ, ਜਾਂ ਆਰਕੇਸਟ੍ਰੇਸ਼ਨ ਸਕ੍ਰਿਪਟਾਂ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।
ਧਿਆਨ ਵਿੱਚ ਰੱਖਣ ਯੋਗ ਗੱਲਾਂ
- NVIDIA ਨੇ ਅਜਿਹੇ ਬੈਂਚਮਾਰਕ ਨੰਬਰ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕੀਤੇ ਹਨ ਜੋ Nemotron 3.5 Lightning ਦੀ ਤੁਲਨਾ Llama ਜਾਂ Mistral ਵਰਗੇ ਓਪਨ-ਸੋਰਸ LLMs ਨਾਲ ਕਰਦੇ ਹੋਣ।
- ਸ਼ੁੱਧਤਾ (Accuracy) ਅਤੇ ਲੇਟੈਂਸੀ ਅਜੇ ਵੀ ਪ੍ਰੋਂਪਟ