𝗔𝗜 𝗚𝗮𝘁𝗲𝘄𝗮𝘆: 𝗧𝗵𝗲 𝗖𝗲𝗻𝘁𝗿𝗮𝗹 𝗡𝗲𝗿𝘃𝗼𝘂𝘀 𝗦𝘆𝘀𝘁𝗲𝗺 𝗳𝗼𝗿 𝗘𝗻𝘁𝗲𝗿𝗽𝗿𝗶𝘀𝗲 𝗟𝗟𝗠𝘀
ஆரம்பகால AI மேம்பாடு எளிமையாக இருந்தது. டெவலப்பர்கள் ஒரு செயலியை ஒரு மாடலுடன் இணைத்தனர். அவர்கள் API சாவிகளை (API keys) நேரடியாகக் குறியீடு செய்துவிட்டு, எல்லாம் சிறப்பாக நடக்கும் என்று நம்பினர்.
அந்த அணுகுமுறை நிறுவன அளவில் தோல்வியடையும்.
நவீன நிறுவனங்கள் டஜன் கணக்கான மாடல்களை நிர்வகிக்கின்றன. அவை Kubernetes-இல் உள்ள open-source மாடல்களையும், கிளவுட் வழங்குநர்களிடமிருந்து (cloud providers) பெறப்படும் பிரீமியம் API-களையும் பயன்படுத்துகின்றன. மேலும் அவை AI agents மற்றும் vector databases ஆகியவற்றையும் பயன்படுத்துகின்றன. இந்த சிக்கலான தன்மை தடைகளை (bottlenecks) உருவாக்குகிறது.
மையக் கட்டுப்பாடு இல்லையெனில், நீங்கள் எதிர்கொள்ளும் பிரச்சனைகள்:
- சிதறிய பாதுகாப்பு கொள்கைகள் (Fragmented security policies)
- கணிக்க முடியாத செலவுகள்
- ஒரு வழங்குநர் செயலிழக்கும்போது எந்தத் தயார்நிலையும் இல்லாமை (Zero resilience)
ஒரு AI Gateway இதைத் தீர்க்கிறது. இது உங்கள் செயலிகளுக்கும் உங்கள் மாடல்களுக்கும் இடையில் அமைகிறது. இது உங்கள் AI உள்கட்டமைப்பிற்கான (infrastructure) ஒரு போக்குவரத்து கட்டுப்பாட்டாளராக (traffic controller) செயல்படுகிறது.
இது எவ்வாறு செயல்படுகிறது:
- The Ingress Layer: இணைப்புகளை நிர்வகிக்கிறது மற்றும் rate limiting மூலம் தாக்குதல்களைத் தடுக்கிறது.
- The Policy Engine: இது அமைப்பின் மூளை போன்றது. இது அங்கீகாரத்தை (authentication) கையாளுவதோடு, PII போன்ற முக்கியமான தரவுகளை வடிகட்டுகிறது.
- The Routing Engine: எந்த மாடல் ஒரு கோரிக்கையை (request) கையாள வேண்டும் என்பதை இது தீர்மானிக்கிறது. செலவு, வேகம் அல்லது நம்பகத்தன்மை ஆகியவற்றின் அடிப்படையில் நீங்கள் வழிநடத்தலாம் (route).
- The Caching Layer: பணத்தைச் சேமிக்கவும், தாமதத்தைக் (latency) குறைக்கவும் முந்தைய பதில்களைச் சேமித்து வைக்கிறது.
- The Observability Module: தாமதம் மற்றும் செலவினங்களை நிகழ்நேரத்தில் (real time) கண்காணிக்கிறது.
உங்களுக்கு இது ஏன் தேவை:
- செலவுக் கட்டுப்பாடு: எளிய பணிகளை மலிவான மாடல்களுக்கும், சிக்கலான பணிகளை விலையுயர்ந்த மாடல்களுக்கும் அனுப்ப ஸ்மார்ட் ரூட்டிங்கை (smart routing) பயன்படுத்தவும். இது செலவுகளை 40% முதல் 60% வரை குறைக்கலாம்.
- பாதுகாப்பு: உங்கள் நெட்வொர்க்கை விட்டு வெளியேறும் முன் முக்கியமான தரவுகளைத் தானாகவே மறைக்கவும் (mask). Prompt injection தாக்குதல்களில் இருந்து பாதுகாக்கவும்.
- விற்பனையாளர் சார்பற்ற நிலை (Vendor Independence): உங்கள் குறியீட்டை (code) மீண்டும் எழுதாமல், ஒரு config கோப்பை மாற்றுவதன் மூலம் மாடல் வழங்குநர்களை மாற்றிக்கொள்ளலாம்.
- செயல்பாட்டுத் திறன்: டெவலப்பர்கள் உள்கட்டமைப்புப் பணிகளை நிர்வகிப்பதற்குப் பதிலாக, புதிய அம்சங்களை (features) உருவாக்குவதில் கவனம் செலுத்தலாம்.
AI-ஐத் தனித்தனி இணைப்புகளின் தொடர்ச்சியாகக் கருதுவதை நிறுத்துங்கள். பொறுப்புடன் விரிவாக்கம் செய்ய (scale) ஒரு மையக் கட்டுப்பாட்டுப் புள்ளியை உருவாக்குங்கள்.
Source: https://dev.to/chatscopeai/ai-gateway-the-central-nervous-system-for-enterprise-llms-542f
Optional learning community: https://t.me/GyaanSetuAi