6 நேரடி மாதிரியால் (Live Model) மட்டுமே நமக்குக் கற்பிக்கக்கூடிய 6 பிழைகள்
ஆஃப்லைன் சோதனைகள் (Offline tests) அவசியமானவை. ஆனால் அவை மட்டும் போதாது.
பெருவில் (Peru) சுற்றுச்சூழல் இணக்கத்தைக் கண்காணிக்க நான் AgentOps Debugger-ஐ உருவாக்கினேன். இது பதிவுகளைக் கண்டறியவும் அறிக்கைகளை எழுதவும் Qwen Cloud-இல் உள்ள Qwen-plus-ஐப் பயன்படுத்துகிறது.
இந்த அமைப்பை நான் 'offline-first' முறையில் வடிவமைத்தேன். எனது 315 சோதனைகளும் எந்த நெட்வொர்க் அழைப்புகளும் இன்றி இயங்கின. அனைத்து சோதனைகளும் வெற்றி பெற்றன. ஆனால், நான் Alibaba Cloud-இல் உள்ள நேரடி மாதிரியில் (live model) மாறியபோது, அமைப்பு செயலிழந்தது.
குறியீடு (Code) சரியாக இருந்தது. மாதிரியின் வெளியீடு (model output) தான் சிக்கலாக இருந்தது.
நிஜ உலக மாதிரித் தோல்விகளிலிருந்து கற்றுக்கொண்ட ஆறு பாடங்கள் இதோ:
• லேபிள் முரண்பாடு (Label Mismatch) கட்டமைப்பு (Schema) "completed" அல்லது "failed" என்று எதிர்பார்த்தது. ஆனால் மாதிரி "success" அல்லது "done" என்று அனுப்பியது. ஒரே ஒரு வார்த்தை காரணமாக, பார்ஸர் (parser) பயனுள்ள பதில்களை நிராகரித்தது. தீர்வு: ஒத்த சொற்களை (synonyms) முறைப்படுத்தத் தளர்வான ப்ரீ-புரோசஸர்களை (tolerant preprocessors) பயன்படுத்தவும்.
• சிதைந்த திட்டங்கள் (Degenerate Plans)