OpenAI ਅਤੇ Anthropic AI ਸਿਸਟਮ ਕਿਵੇਂ ਡਿਜ਼ਾਈਨ ਕਰਦੇ ਹਨ

ਬਹੁਤ ਸਾਰੇ ਲੋਕ API ਦਸਤਾਵੇਜ਼ਾਂ ਜਾਂ ਬਲੌਗ ਪੋਸਟਾਂ ਨੂੰ ਦੇਖ ਕੇ AI ਕੰਪਨੀਆਂ ਨੂੰ ਰਿਵਰਸ-ਇੰਜੀਨੀਅਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਨ। ਉਹ ਮਾਡਲਾਂ ਜਾਂ ਐਂਡਪੁਆਇੰਟਸ (endpoints) 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦੇ ਹਨ। ਇਸ ਨਾਲ ਗਲਤ ਨਤੀਜੇ ਨਿਕਲਦੇ ਹਨ।

OpenAI ਅਤੇ Anthropic ਸਿਰਫ਼ ਮਾਡਲ ਹੀ ਨਹੀਂ ਬਣਾਉਂਦੇ। ਉਹ ਪੂਰੇ ਈਕੋਸਿਸਟਮ (ecosystems) ਬਣਾਉਂਦੇ ਹਨ।

ਇੱਕ ਪ੍ਰੋਡਕਸ਼ਨ AI ਸਿਸਟਮ ਇੱਕ ਵੱਡੇ ਪੱਧਰ ਦਾ ਡਿਸਟ੍ਰੀਬਿਊਟਡ ਸਿਸਟਮ (distributed system) ਹੁੰਦਾ ਹੈ। ਇਹ ਇੱਕ ਲੇਅਰਡ ਆਰਕੀਟੈਕਚਰ ਹੈ ਜਿੱਥੇ ਹਰ ਹਿੱਸਾ ਦੂਜਿਆਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ।

ਜੇਕਰ ਤੁਸੀਂ AI ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਕੰਪੋਨੈਂਟ ਵਜੋਂ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਅਸਲ ਕੰਮ ਨੂੰ ਸਮਝਣ ਤੋਂ ਰਹਿ ਜਾਓਗੇ। ਅਸਲੀ ਜਾਦੂ ਇਹ ਹੈ ਕਿ ਇਹ ਲੇਅਰਾਂ ਇੱਕ ਦੂਜੇ ਨਾਲ ਕਿਵੇਂ ਗੱਲਬਾਤ (interact) ਕਰਦੀਆਂ ਹਨ।

ਇੱਕ ਵੱਡੇ ਪੱਧਰ ਦੇ AI ਸਿਸਟਮ ਦੀਆਂ ਮੁੱਖ ਲੇਅਰਾਂ ਇੱਥੇ ਹਨ:

• Data Pipeline: ਟ੍ਰੇਨਿੰਗ ਡੇਟਾ ਇਕੱਠਾ ਕਰਦੀ ਹੈ ਅਤੇ ਉਸ ਨੂੰ ਸਾਫ਼ ਕਰਦੀ ਹੈ। • Training Infrastructure: ਵਿਸ਼ਾਲ ਕੰਪਿਊਟ ਅਤੇ GPU ਕਲਸਟਰਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦੀ ਹੈ। • Model Layer: ਮੁੱਖ LLM ਆਰਕੀਟੈਕਚਰ। • Inference Layer: ਘੱਟ ਲੇਟੈਂਸੀ (low latency) ਨਾਲ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਜਵਾਬ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ। • Safety Layer: ਗਾਰਡਰੇਲਜ਼ (guardrails) ਅਤੇ ਅਲਾਈਨਮੈਂਟ (alignment) ਨੂੰ ਲਾਗੂ ਕਰਦੀ ਹੈ। • Observability: ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦੀ ਹੈ ਅਤੇ ਗਲਤੀਆਂ ਨੂੰ ਟ੍ਰੈਕ ਕਰਦੀ ਹੈ। • Feedback Loop: ਸਮੇਂ ਦੇ ਨਾਲ ਮਾਡਲ ਨੂੰ ਸੁਧਾਰਨ ਲਈ ਨਵੇਂ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ।

ਮਾਡਲ ਇਸ ਜਾਲ ਦਾ ਸਿਰਫ਼ ਇੱਕ ਹਿੱਸਾ ਹੈ।

ਉਦਾਹਰਨ ਲਈ, ਅਲਾਈਨਮੈਂਟ (alignment) ਕੋਈ ਇੱਕ ਵਾਰ ਵਾਲਾ ਕੰਮ ਨਹੀਂ ਹੈ। ਕੰਪਨੀਆਂ ਮਾਡਲਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਣ ਲਈ ਵੱਖ-ਵੱਖ ਰਣਨੀਤੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੀਆਂ ਹਨ:

  • RLHF: ਵਿਵਹਾਰ ਨੂੰ ਨਿਰਦੇਸ਼ ਦੇਣ ਲਈ ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
  • Constitutional AI: ਪੈਮਾਨੇ (scale) ਲਈ ਨਿਯਮ-ਅਧਾਰਤ ਮਾਰਗਦਰਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
  • Output Filtering: ਮਾੜੇ ਕੰਟੈਂਟ ਨੂੰ ਰੋਕਣ ਲਈ ਪੋਸਟ-ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ।

ਇੱਕ ਵਾਰ ਮਾਡਲ ਤਿਆਰ ਹੋ ਜਾਣ ਤੋਂ ਬਾਅਦ, ਚੁਣੌਤੀ ਇਨਫਰੈਂਸ (inference) ਵੱਲ ਵਧ ਜਾਂਦੀ ਹੈ। ਤੁਹਾਨੂੰ ਰਫ਼ਤਾਰ ਅਤੇ ਲਾਗਤ ਵਿਚਕਾਰ ਸੰਤੁਲਨ ਬਣਾਉਣਾ ਪਵੇਗਾ। ਇੰਜੀਨੀਅਰ ਸਿਸਟਮਾਂ ਨੂੰ ਤੇਜ਼ ਅਤੇ ਭਰੋਸੇਮੰਦ ਰੱਖਣ ਲਈ ਬੈਚਿੰਗ (batching), ਕੈਸ਼ਿੰਗ (caching), ਅਤੇ ਕਵਾਟਾਈਜ਼ੇਸ਼ਨ (quantization) ਵਰਗੀਆਂ ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ।

ਇਹਨਾਂ ਸਿਸਟਮਾਂ ਨੂੰ ਸਕੇਲ ਕਰਨਾ (scaling) ਮੁਸ਼ਕਲ ਹੈ। ਇਹ ਸਿਰਫ਼ ਹੋਰ ਹਾਰਡਵੇਅਰ ਜੋੜਨ ਬਾਰੇ ਨਹੀਂ ਹੈ। ਇਹ ਜਟਿਲਤਾ (complexity) ਦੇ ਪ੍ਰਬੰਧਨ ਬਾਰੇ ਹੈ। ਜਿਵੇਂ-ਜਿਵੇਂ ਤੁਸੀਂ ਸਕੇਲ ਕਰਦੇ ਹੋ, ਤੁਹਾਨੂੰ ਤਾਲਮੇਲ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਨਾਲ ਨਵੀਆਂ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ।

ਸਫਲਤਾ AI ਨੂੰ ਇੱਕ ਵਿਕਸਤ ਹੋ ਰਹੇ ਸਿਸਟਮ ਵਜੋਂ ਮੰਨਣ ਨਾਲ ਮਿਲਦੀ ਹੈ। ਇਹ ਕੰਪਨੀਆਂ ਸਥਿਰ (static) ਉਤਪਾਦ ਨਹੀਂ ਬਣਾਉਂਦੀਆਂ। ਉਹ ਅਜਿਹੇ ਲੂਪ (loops) ਬਣਾਉਂਦੀਆਂ ਹਨ ਜੋ ਅਸਲ ਦੁਨੀਆ ਦੀ ਵਰਤੋਂ ਤੋਂ ਸਿੱਖਦੇ ਹਨ।

ਮਾਡਲ ਨੂੰ ਇਕੱਲੇ ਦੇਖਣਾ ਬੰਦ ਕਰੋ। ਪੂਰੇ ਸਿਸਟਮ ਨੂੰ ਦੇਖੋ।

ਸਰੋਤ: https://dev.to/stack_overflowed/how-companies-like-openai-and-anthropic-design-their-ai-systems-2537