𝗛𝗼𝘄 𝗢𝗽𝗲𝗻𝗔𝗜 𝗮𝗻𝗱 𝗔𝗻𝘁𝗵𝗿𝗼𝗽𝗶𝗰 𝗗𝗲𝘀𝗶𝗴𝗻 𝗔𝗜 𝗦𝘆𝘀𝘁𝗲𝗺𝘀

பலரும் API ஆவணங்கள் அல்லது வலைப்பதிவுகளைப் பார்த்து AI நிறுவனங்களைத் தலைகீழாகப் பகுப்பாய்வு (reverse-engineer) செய்ய முயற்சிக்கிறார்கள். அவர்கள் மாதிரிகள் (models) அல்லது எண்ட்பாயிண்ட்களில் (endpoints) மட்டுமே கவனம் செலுத்துகிறார்கள். இது தவறான முடிவுகளுக்கு வழிவகுக்கிறது.

OpenAI மற்றும் Anthropic வெறும் மாதிரிகளை மட்டும் உருவாக்குவதில்லை. அவை முழுமையான சுற்றுச்சூழல் அமைப்புகளை (ecosystems) உருவாக்குகின்றன.

ஒரு உற்பத்தி நிலை (production) AI அமைப்பு என்பது ஒரு பெரிய அளவிலான பரவலாக்கப்பட்ட அமைப்பாகும் (distributed system). இது ஒரு அடுக்குக் கட்டமைப்பைக் (layered architecture) கொண்டது, இதில் ஒவ்வொரு பகுதியும் மற்றொன்றைப் பாதிக்கிறது.

நீங்கள் AI-ஐ ஒரு தனி அங்கமாக மட்டும் கருதினால், அதன் உண்மையான செயல்பாட்டைத் தவறவிடுகிறீர்கள். இந்த அடுக்குகள் எவ்வாறு ஒன்றோடொன்று தொடர்பு கொள்கின்றன என்பதில்தான் அதன் மந்திரம் உள்ளது.

ஒரு பெரிய அளவிலான AI அமைப்பின் முக்கிய அடுக்குகள் இதோ:

• தரவுப் பாதை (Data Pipeline): பயிற்சித் தரவைச் சேகரித்துச் சுத்தப்படுத்துகிறது. • பயிற்சி உள்கட்டமைப்பு (Training Infrastructure): மிகப்பெரிய கணக்கீட்டுத் திறன் (compute) மற்றும் GPU தொகுப்புகளை நிர்வகிக்கிறது. • மாதிரி அடுக்கு (Model Layer): முக்கிய LLM கட்டமைப்பு. • அனுமான அடுக்கு (Inference Layer): குறைந்த தாமதத்துடன் (low latency) பயனர்களுக்குப் பதில்களை வழங்குகிறது. • பாதுகாப்பு அடுக்கு (Safety Layer): பாதுகாப்புத் தடுப்புகளை (guardrails) மற்றும் சீரமைப்பை (alignment) உறுதி செய்கிறது. • கண்காணிப்புத் திறன் (Observability): செயல்திறனைக் கண்காணிக்கிறது மற்றும் பிழைகளைக் கண்டறிகிறது. • பின்னூட்டச் சுழற்சி (Feedback Loop): காலப்போக்கில் மாதிரியை மேம்படுத்தப் புதிய தரவைப் பயன்படுத்துகிறது.

இந்த வலைப்பின்னலில் மாதிரி என்பது ஒரு பகுதி மட்டுமே.

உதாரணமாக, சீரமைப்பு (alignment) என்பது ஒருமுறை மட்டும் செய்யப்படும் காரியமல்ல. மாதிரிகளைப் பாதுகாப்பாக வைத்திருக்க நிறுவனங்கள் பல்வேறு உத்திகளைக் கையாளுகின்றன:

  • RLHF: நடத்தையை வழிநடத்த மனித பின்னூட்டத்தைப் பயன்படுத்துகிறது.
  • Constitutional AI: பெரிய அளவில் செயல்பட விதிமுறை அடிப்படையிலான வழிகாட்டுதலைப் பயன்படுத்துகிறது.
  • வெளியீடு வடிகட்டுதல் (Output Filtering): தவறான உள்ளடக்கத்தைத் தடுக்கப் பின்-செயலாக்கத்தைப் (post-processing) பயன்படுத்துகிறது.

மாதிரி தயாரானதும், சவால் அனுமானத்திற்கு (inference) மாறுகிறது. நீங்கள் வேகம் மற்றும் செலவு ஆகியவற்றுக்கு இடையே சமநிலையைப் பேண வேண்டும். அமைப்புகளை வேகமாகவும் நம்பகமானதாகவும் வைத்திருக்க பொறியாளர்கள் batching, caching மற்றும் quantization போன்ற நுட்பங்களைப் பயன்படுத்துகிறார்கள்.

இந்த அமைப்புகளை விரிவாக்குவது (scaling) கடினம். இது வெறும் கூடுதல் வன்பொருள்களை (hardware) சேர்ப்பது மட்டுமல்ல. இது சிக்கல்களை நிர்வகிப்பதைப் பற்றியது. நீங்கள் விரிவாக்கும்போது, ஒருங்கிணைப்பு மற்றும் நம்பகத்தன்மை தொடர்பான புதிய சிக்கல்களை எதிர்கொள்வீர்கள்.

AI-ஐ ஒரு பரிணாமம் அடையும் அமைப்பாகக் கருதுவதிலிருந்து வெற்றி கிடைக்கிறது. இந்த நிறுவனங்கள் நிலையான தயாரிப்புகளை உருவாக்குவதில்லை. அவை நிஜ உலகப் பயன்பாட்டிலிருந்து கற்றுக்கொள்ளும் சுழற்சிகளை உருவாக்குகின்றன.

மாதிரியைத் தனித்துப்பார்ப்பதை நிறுத்துங்கள். முழு அமைப்பையும் பாருங்கள்.

ஆதாரம்: https://dev.to/stack_overflowed/how-companies-like-openai-and-anthropic-design-their-ai-systems-2537