𝗔𝗜 𝗠𝗼𝗱𝗲𝗹 𝗙𝗮𝗶𝗹𝗼𝘃𝗲𝗿 𝗗𝗿𝗶𝗹𝗹𝘀: 𝗞𝗲𝗲𝗽 𝗔𝗴𝗲𝗻𝘁𝘀 𝗨𝘀𝗲𝗳𝘂𝗹 𝗪𝗵𝗲𝗻 𝗣𝗿𝗼𝘃𝗶𝗱𝗲𝗿𝘀 𝗕𝗿𝗲𝗮𝗸
ஒரு வரைபடத்தில் (diagram) மட்டுமே செயல்படும் மாடல் ஃபெயிலோவர் (fallback) என்பது மீள்தன்மை (resilience) அல்ல. அது வெறும் சிறந்த பெயரிடப்பட்ட ஒரு திட்டம் மட்டுமே.
உங்கள் தயாரிப்பு AI ஏஜென்ட்களைப் பயன்படுத்தினால், ஒரு மெதுவான வழங்குநர் அல்லது ரேட்-லிமிட் (rate-limit) அதிகரிப்பு பயனர் அனுபவத்தை பாழாக்கிவிடும். உண்மையான ஆபத்து என்பது முழுமையான செயலிழப்பு அல்ல. ஆபத்து என்பது பாதி வேலை செய்யும் ஃபெயிலோவர் ஆகும். ஒரு பேக்கப் மாடல் பயனருக்குத் தெரியாமல் தரவு வடிவங்களை (data formats) மாற்றும்போதோ, டூல் ஸ்டேட்டை (tool state) இழக்கும்போதோ அல்லது மேற்கோள்களை (citations) தவிர்க்கும்போதோ இது நிகழ்கிறது.
தயாரிப்புப் பயன்பாட்டின் (production traffic) போது கசப்பான அனுபவங்களைச் சந்திக்க வேண்டிய நிலை வருவதற்கு முன்பே, நீங்கள் நடைமுறை ஃபெயிலோவர் பயிற்சிகளை (failover drills) மேற்கொள்ள வேண்டும்.
ஒவ்வொரு மாடலையும் ஒன்றிற்குப் பதில் இன்னொன்றைப் பயன்படுத்தும் வகையில் மாற்றுவதே இலக்கல்ல. முதன்மை மாடல் செயலிழக்கும் போது, பணிப்பாய்வு (workflow) பாதுகாப்பாகவும் நம்பகத்தன்மையுடனும் இருப்பதை உறுதி செய்வதே இலக்காகும்.
பெரும்பாலான குழுக்கள் ஒரு எளிய முறையைப் பின்பற்றுகின்றன: முதலில் முதன்மை மாடலை முயற்சிக்கவும், பின்னர் ஒரு பேக்கப் மாடலை முயற்சிக்கவும், அதன் பிறகு பிழையைக் காட்டவும். இது AI அமைப்புகளில் உள்ள உண்மையான சிக்கல்களைக் கவனிக்கத் தவறிவிடுகிறது. AI நுணுக்கமான வழிகளில் தோல்வியடைகிறது:
• ஒரு பேக்கப் மாடல் வெவ்வேறு புலப் பொருள்களைக் (field meanings) கொண்ட JSON-ஐத் திருப்பித் தருகிறது. • ஒரு மலிவான மாடல் உங்கள் டூல் கொள்கைகளை (tool policies) புறக்கணிக்கிறது. • ஒரு வழங்குநர் டோக்கன்களை (tokens) மிக மெதுவாக வழங்குகிறது. • ஒரு ஃபெயிலோவர் மாடலில் அதே ஃபங்க்ஷன்-காலிங் (function-calling) வடிவம் இருப்பதில்லை. • ஏஜென்ட் மீண்டும் மீண்டும் முயற்சி செய்து பயனரின் பட்ஜெட்டைத் தீர்த்துவிடுகிறது.
AI மாடல் ஃபெயிலோவர் பயிற்சி என்பது ஒரு திட்டமிடப்பட்ட சோதனை ஆகும். தயாரிப்பு பாதுகாப்பாக இருக்கிறதா என்பதைப் பார்க்க, நீங்கள் வேண்டுமென்றே ஒரு மாடல் பாதையைச் செயலிழக்கச் செய்கிறீர்கள்.
ஒரு சிறந்த பயிற்சி பின்வருவனவற்றைச் சரிபார்க்கிறது:
- பணிப்பாய்வு தொடர்ந்து இயங்குகிறதா?
- அது ஸ்கீமா (schema) மற்றும் டூல் ஸ்டேட்டைப் பாதுகாப்பதா?
- அது செலவு மற்றும் லேட்டன்சி (latency) வரம்பிற்குள் இருக்கிறதா?
- இது அடுத்த முறைக்கான ரீக்ரஷன் டெஸ்ட்டை (regression test) உருவாக்குகிறதா?
ஒவ்வொரு ப்ராம்ப்ட்டையும் (prompt) பல வழங்குநர்களுடன் வேலை செய்ய வைப்பதில் தொடங்காதீர்கள். தோல்வி ஏற்பட்டால் நம்பகத்தன்மை குறையக்கூடிய பணிப்பாய்வுகளிலிருந்து தொடங்குங்கள்.
அதிக முன்னுரிமை கொண்ட பணிப்பாய்வுகள்:
- வாடிக்கையாளர் சார்ந்த சாட் (Customer-facing chat)
- அறிக்கை உருவாக்கம் (Report generation)
- டூல்களை அழைக்கும் ஏஜென்ட் பணிப்பாய்வுகள் (Agent workflows that call tools)
- மேற்கோள்களுடன் கூடிய RAG பதில்கள் (RAG answers with citations)
- கட்டமைக்கப்பட்ட புலங்களுக்குத் தரவை எடுத்தல் (Data extraction into structured fields)
சிறந்த வடிவமைப்பு என்பது மாடல் பெயர்களின் பட்டியலிலிருந்து அல்லாமல், ஒரு ஒப்பந்தத்திலிருந்து (contract) தொடங்குகிறது. ஒரு ஃபெயிலோவர் ஒப்பந்தம் என்பது அனைத்து வழங்குநர்களிடமும் எவை மாறாமல் இருக்க வேண்டும் என்பதை வரையறுக்கிறது. ஒரு சப்போர்ட் ஏஜென்ட்டிற்கு, இதில் பின்வருவன அடங்கும்:
- உள்ளீடு மற்றும் வெளியீடு வடிவங்கள் (Input and output shapes)
- நம்பிக்கையின் நிலைகள் மற்றும் மேற்கோள்கள் (Confidence levels and citations)
- டூல் அனுமதிகள் மற்றும் மீதமுள்ள பட்ஜெட் (Tool permissions and remaining budget)
- தரக் கட்டுப்பாடுகள் மற்றும் சரிபார்ப்பு விதிகள் (Quality gates and validation rules)
சில நேரங்களில் சரியான ஃபெயிலோவர் என்பது மற்றொரு மாடல் அல்ல. அது பின்வருவனவாக இருக்கலாம்:
- பயனரிடம் உறுதிப்படுத்தக் கேட்டல்
- ஒரு பகுதி முடிவைத் தருதல்
- பணியை பின்னர் செய்வதற்கு வரிசையில் வைத்தல் (Queuing)
- பணிப்பாய்வை மனித ஆய்வுக்கு அனுப்புதல்
ஒவ்வொரு தோல்வியையும் மற்றொரு மாடலை முயற்சிப்பதற்கான காரணமாகக் கருதாதீர்கள். பிழைகள் மற்றும் வடிவமைப்புகளைச் சீரமைக்க (normalize) ஒரு model adapter-ஐப் பயன்படுத்தவும். இது உங்கள் பயிற்சிகளை (drills) எளிதாக்குகிறது, ஏனெனில் உங்கள் முக்கிய தர்க்கத்தை (main logic) மாற்றாமல் தோல்விகளை நீங்கள் உருவகப்படுத்த (simulate) முடியும்.
தொடங்க இந்த மூன்று பயிற்சிகளைச் செய்யவும்:
- The Timeout Drill: முதன்மை மாடலை (primary model) தூங்கச் செய்ய (sleep) கட்டாயப்படுத்தவும். உங்கள் latency budget-க்குள் fallback நடப்பதை உறுதி செய்யவும்.
- The Rate Limit Drill: 429 பிழையை (error) உருவாக்கவும். உங்கள் அமைப்பு backoff முறையைப் பயன்படுத்துவதையும், tenant budget-ஐப் பாதுகாப்பதையும் உறுதி செய்யவும்.
- The Schema Drill: ஒரு மாடல் தவறான JSON-ஐத் திருப்பி அனுப்பும்படி கட்டாயப்படுத்தவும். உங்கள் அமைப்பு வெளியீட்டைச் சரிபார்க்கிறதா அல்லது workflow-ஐப் பாதுகாப்பாக நிறுத்துகிறதா என்பதை உறுதி செய்யவும்.
பயனர்களுக்கு உங்கள் provider விவரங்கள் தெரிய வேண்டிய அவசியமில்லை. அவர்களுக்கு நேர்மையான செயல்பாடுதான் தேவை.
தவறான செய்தி: ஏதோ தவறு நடந்துவிட்டது. சரியான செய்தி: என்னால் இன்னும் உதவ முடியும், ஆனால் நேரடிச் செயல்பாடுகள் (live actions) தற்காலிகமாக மட்டுப்படுத்தப்பட்டுள்ளன. உங்கள் பார்வைக்காக அடுத்த கட்டத்தை என்னால் வரைவு (draft) செய்ய முடியும்.
எல்லாம் சரியாக இருப்பது போலப் பாசாங்கு செய்வதன் மூலம் அல்ல, தெளிவான எல்லைகளை உருவாக்குவதன் மூலம் நம்பிக்கையை வளர்க்கவும்.
விருப்பத்தேர்வு கற்றல் சமூகம்: https://t.me/GyaanSetuAi