𝗔𝗜 𝗚𝗮𝘁𝗲𝘄𝗮𝘆: 𝗧𝗵𝗲 𝗖𝗲𝗻𝘁𝗿𝗮𝗹 𝗡𝗲𝗿𝘃𝗼𝘂𝘀 𝗦𝘆𝘀𝘁𝗲𝗺 𝗳𝗼𝗿 𝗘𝗻𝘁𝗲𝗿𝗽𝗿𝗶𝘀𝗲 𝗟𝗟𝗠𝘀
AI ਦਾ ਸ਼ੁਰੂਆਤੀ ਵਿਕਾਸ ਸਰਲ ਸੀ। ਡਿਵੈਲਪਰ ਇੱਕ ਐਪ ਨੂੰ ਇੱਕ ਮਾਡਲ ਨਾਲ ਜੋੜਦੇ ਸਨ। ਉਹ API keys ਨੂੰ hardcode ਕਰਦੇ ਸਨ ਅਤੇ ਉਮੀਦ ਕਰਦੇ ਸਨ ਕਿ ਸਭ ਕੁਝ ਠੀਕ ਰਹੇਗਾ।
ਉਹ ਤਰੀਕਾ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਵਿੱਚ ਅਸਫਲ ਰਹਿੰਦਾ ਹੈ।
ਆਧੁਨਿਕ ਕੰਪਨੀਆਂ ਦਰਜਨਾਂ ਮਾਡਲਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦੀਆਂ ਹਨ। ਉਹ Kubernetes 'ਤੇ open-source ਮਾਡਲਾਂ ਅਤੇ cloud providers ਤੋਂ ਪ੍ਰੀਮੀਅਮ APIs ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਉਹ AI agents ਅਤੇ vector databases ਦੀ ਵੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਇਹ ਗੁੰਝਲਦਾਰਤਾ ਰੁਕਾਵਟਾਂ (bottlenecks) ਪੈਦਾ ਕਰਦੀ ਹੈ।
ਕੇਂਦਰੀ ਨਿਯੰਤਰਣ ਤੋਂ ਬਿਨਾਂ, ਤੁਹਾਨੂੰ ਇਹਨਾਂ ਚੁਣੌਤੀਆਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ:
- ਟੁੱਟੀਆਂ ਹੋਈਆਂ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ (Fragmented security policies)
- ਅਨਿਸ਼ਚਿਤ ਲਾਗਤਾਂ
- ਜਦੋਂ ਕੋਈ ਪ੍ਰੋਵਾਈਡਰ ਡਾਊਨ ਹੋ ਜਾਂਦਾ ਹੈ ਤਾਂ ਜ਼ੀਰੋ ਰੈਜ਼ੀਲੀਅੰਸ (resilience)
ਇੱਕ AI Gateway ਇਸ ਸਮੱਸਿਆ ਦਾ ਹੱਲ ਕਰਦਾ ਹੈ। ਇਹ ਤੁਹਾਡੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਅਤੇ ਤੁਹਾਡੇ ਮਾਡਲਾਂ ਦੇ ਵਿਚਕਾਰ ਸਥਿਤ ਹੁੰਦਾ ਹੈ। ਇਹ ਤੁਹਾਡੇ AI ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਲਈ ਇੱਕ ਟ੍ਰੈਫਿਕ ਕੰਟਰੋਲਰ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ।
ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ:
- The Ingress Layer: ਕਨੈਕਸ਼ਨਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦਾ ਹੈ ਅਤੇ rate limiting ਰਾਹੀਂ ਹਮਲਿਆਂ ਨੂੰ ਰੋਕਦਾ ਹੈ।
- The Policy Engine: ਸਿਸਟਮ ਦਾ ਦਿਮਾਗ। ਇਹ authentication ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ ਅਤੇ PII ਵਰਗੇ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਨੂੰ ਫਿਲਟਰ ਕਰਦਾ ਹੈ।
- The Routing Engine: ਇਹ ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਮਾਡਲ ਬੇਨਤੀ (request) ਨੂੰ ਸੰਭਾਲੇਗਾ। ਤੁਸੀਂ ਲਾਗਤ, ਰਫ਼ਤਾਰ ਜਾਂ ਭਰੋਸੇਯੋਗਤਾ ਦੇ ਅਧਾਰ 'ਤੇ ਰੂਟ ਕਰ ਸਕਦੇ ਹੋ।
- The Caching Layer: ਪੈਸੇ ਬਚਾਉਣ ਅਤੇ latency ਘਟਾਉਣ ਲਈ ਪਿਛਲੇ ਜਵਾਬਾਂ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ।
- The Observability Module: ਰੀਅਲ-ਟਾਈਮ ਵਿੱਚ latency ਅਤੇ ਖਰਚੇ ਨੂੰ ਟ੍ਰੈਕ ਕਰਦਾ ਹੈ।
ਤੁਹਾਨੂੰ ਇਸਦੀ ਲੋੜ ਕਿਉਂ ਹੈ:
- Cost Control: ਸਧਾਰਨ ਕੰਮਾਂ ਨੂੰ ਸਸਤੇ ਮਾਡਲਾਂ ਨੂੰ ਅਤੇ ਗੁੰਝਲਦਾਰ ਕੰਮਾਂ ਨੂੰ ਮਹਿੰਗੇ ਮਾਡਲਾਂ ਨੂੰ ਭੇਜਣ ਲਈ ਸਮਾਰਟ ਰੂਟਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਇਹ ਲਾਗਤ ਨੂੰ 40% ਤੋਂ 60% ਤੱਕ ਘਟਾ ਸਕਦਾ ਹੈ।
- Security: ਤੁਹਾਡੇ ਨੈੱਟਵਰਕ ਤੋਂ ਬਾਹਰ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਆਪਣੇ ਆਪ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਨੂੰ ਮਾਸਕ (mask) ਕਰੋ। Prompt injection ਤੋਂ ਬਚਾਅ ਕਰੋ।
- Vendor Independence: ਆਪਣੇ ਕੋਡ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣ ਦੀ ਬਜਾਏ ਸਿਰਫ਼ ਇੱਕ config ਫਾਈਲ ਬਦਲ ਕੇ ਮਾਡਲ ਪ੍ਰੋਵਾਈਡਰਾਂ ਨੂੰ ਬਦਲੋ।
- Operational Efficiency: ਡਿਵੈਲਪਰ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਦੇ ਪ੍ਰਬੰਧਨ ਦੀ ਬਜਾਏ ਫੀਚਰ ਬਣਾਉਣ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰ ਸਕਦੇ ਹਨ।
AI ਨੂੰ ਅਲੱਗ-ਅਲੱਗ ਕਨੈਕਸ਼ਨਾਂ ਦੀ ਲੜੀ ਵਜੋਂ ਦੇਖਣਾ ਬੰਦ ਕਰੋ। ਜ਼ਿੰਮੇਵਾਰੀ ਨਾਲ ਸਕੇਲ (scale) ਕਰਨ ਲਈ ਇੱਕ ਕੇਂਦਰੀ ਕੰਟਰੋਲ ਪੁਆਇੰਟ ਬਣਾਓ।
Source: https://dev.to/chatscopeai/ai-gateway-the-central-nervous-system-for-enterprise-llms-542f
Optional learning community: https://t.me/GyaanSetuAi