19 రోజుల అంతరాయం తర్వాత నేను ఒక AI ఫాల్బ్యాక్ రన్బుక్ను సిద్ధం చేశాను
మీ ప్రైమరీ మోడల్ 19 రోజుల పాటు పనిచేయకుండా పోయింది. మొదటి గంటలో మీ వర్క్ఫ్లో ఏం చేస్తుంది?
అది విఫలమవుతుందా? ఆగిపోతుందా? లేదా బ్యాకప్కు మళ్ళించి ముందుకు సాగుతుందా?
మీరు దీనికి సమాధానం చెప్పలేకపోతే, మీ దగ్గర రెసిలియెన్స్ ప్లాన్ (resilience plan) లేదు. మీ దగ్గర కేవలం అదృష్టం మాత్రమే ఉంది. మీకు అత్యంత అవసరమైన సమయంలో అదృష్టం సహకరించదు.
ఎగుమతి నియంత్రణల (export controls) కారణంగా Fable 5 19 రోజుల పాటు ఆఫ్లైన్లోకి వెళ్లిపోయింది. ఆ అంతరాయం తర్వాత, నేను నా స్వంత సెటప్ను పరిశీలించాను. అందులో లోపాలను గుర్తించాను. వాటిని సరిదిద్దడానికి ఒక రన్బుక్ను రాశాను.
దీని కోసం తదుపరి అంతరాయం వచ్చే వరకు వేచి చూడకండి. మీ రక్షణ కోసం ఈ మూడు భాగాలను ఉపయోగించండి.
- Create a routing policy
"మేము Claude ఉపయోగిస్తాము" అని చెప్పడం పాలసీ కాదు. అది కేవలం ఒక డిఫాల్ట్ మాత్రమే.
నిజమైన పాలసీ అనేది ఒక మ్యాప్ లాంటిది. ఏ టాస్క్ ఏ మోడల్కు వెళ్లాలో అది నిర్ణయిస్తుంది. బల్క్ టాస్క్లు తక్కువ ఖర్చుతో కూడిన మోడళ్లకు వెళ్తాయి. సంక్లిష్టమైన ఏజెంట్ టాస్క్లు హై-రీజనింగ్ (high-reasoning) మోడళ్లకు వెళ్తాయి.
ఈ మ్యాప్ను మీ మెదడు నుండి ఒక ఫైల్లోకి మార్చండి. ఈ క్రింది విధంగా YAML స్ట్రక్చర్ను ఉపయోగించండి:
- bulk_classify: primary is Haiku, fallback is Gemini Flash
- long_agent_run: primary is Opus, fallback is Sonnet
- code_review: primary is Sonnet, fallback is GPT
ప్రైమరీ మోడల్ కనిపించకుండా పోయినప్పుడు, రూటర్ పనిని ఎక్కడికి పంపాలో తెలుస్తుంది. అర్ధరాత్రి 2 గంటల సమయంలో ఎవరూ అప్పటికప్పుడు నిర్ణయాలు తీసుకోవాల్సిన అవసరం ఉండదు.
- Bank your reserves
కొన్ని వర్క్ఫ్లోలు ఆగలేవు. వాటి కోసం, మీరు తప్పనిసరిగా ఒక రిజర్వ్ను ఉంచుకోవాలి.
ప్లాన్-బ్యాంకింగ్ (Plan-banking) అంటే మోడల్ అందుబాటులో ఉండి, తక్కువ ఖర్చుతో ఉన్నప్పుడు అవుట్పుట్లను సిద్ధం చేసుకోవడం. బ్లాక్అవుట్ సమయంలో ఉపయోగించుకోవడానికి మీరు ఈ అవుట్పుట్లను భద్రపరుస్తారు.
శీతాకాలపు తుఫాను సమయంలో తినడానికి, వేసవిలో ఆహారాన్ని నిల్వ చేసుకున్నట్లుగా దీనిని భావించండి.
అన్నింటినీ భద్రపరచకండి. అది స్టోరేజీ వృధా. అవి ఆగిపోతే మీ వ్యాపారానికి నష్టం కలిగించే రెండు లేదా మూడు కీలకమైన వర్క్ఫ్లోలను మాత్రమే భద్రపరచుకోండి.
- Run a weekly canary test
మీరు ఎప్పుడూ పరీక్షించని ఫాల్బ్యాక్ మోడల్ అనేది కేవలం ఒక ఊహ మాత్రమే. అంతరాయం ఏర్పడకముందే బ్యాకప్ పనిచేస్తుందని మీరు నిరూపించుకోవాలి.
ప్రతి వారం ఒక పరీక్షను ఏర్పాటు చేయండి. మీ ఫాల్బ్యాక్ మోడల్పై కీలకమైన ప్రాంప్ట్లను (prompts) రన్ చేయండి. పాస్ రేట్ మీ పరిమితి (threshold) కంటే తగ్గితే, వెంటనే అలర్ట్ పొందండి.
తప్పులను ప్రశాంతంగా ఉన్న గురువారం రోజున గుర్తించాలని అనుకోవాలి, 19 రోజుల షట్డౌన్ సమయంలో కాదు.
రిస్క్లు నిజమైనవి. ప్రభుత్వ నిబంధనల వల్ల ఎప్పుడైనా లైసెన్స్లు రద్దు కావచ్చు. ఏ మోడల్పై తదుపరి ఆంక్షలు వస్తాయో మీరు ఊహించలేరు. ఒకటి కంటే ఎక్కువ వెండర్లను ఉపయోగించడం ద్వారా మాత్రమే మీరు ముందస్తు జాగ్రత్తలు తీసుకోవగలరు.
ప్రశాంతంగా ఉన్నప్పుడు ఈ దశలు తక్కువ ఖర్చుతో కూడుకున్నవి. కానీ ఆందోళనలో ఉన్నప్పుడు వీటిని చేయడం అసాధ్యం.
ఈ మూడింటిలో మీరు ఈరోజు దేనిని రాసి పెట్టుకున్నారు? "మేము చేయవచ్చు" అని కాదు. ఇప్పుడే రాసి పెట్టుకున్న దాని గురించి అడుగుతున్నాను.
నా రూటింగ్ మ్యాప్ సిద్ధంగా ఉంది. నా సెకండ్-సోర్స్ కెనరీ (second-source canary) పోయిన వారానికే అందుబాటులోకి వచ్చింది.
Optional learning community: https://t.me/GyaanSetuAi