స్వయంప్రతిపత్తి కలిగిన ఏజెంట్లు (Autonomous agents) తమ స్వంత చరిత్రను ఊహించుకుని భ్రమపడతాయి. లార్జ్ లాంగ్వేజ్ మోడల్స్ శిక్షణ డేటా నుండి వాస్తవాలను సృష్టించే ఆ డ్రామాటిక్ పద్ధతిలో కాదు, ఒక వ్యవస్థ తన నోట్స్లో ఉన్నది ప్రపంచంలో కూడా అలాగే ఉందని నమ్మే నిశ్శబ్దమైన, ప్రమాదకరమైన పద్ధతిలో ఇది జరుగుతుంది. సంక్లిష్టమైన వర్క్ఫ్లోలను నిర్వహించడానికి రూపొందించబడిన ALICE అనే స్వయంప్రతిపత్తి కలిగిన ఏజెంట్ సరిగ్గా దీనివల్లే ఇబ్బంది పడింది. ఆమె ప్రతిరోజూ నైపుణ్యాలు, ఒక లక్ష్యం మరియు తాను ఎక్కడ ఆపారో అనే జ్ఞాపకంతో మేల్కొనేది. జ్ఞాపకం మరియు వాస్తవం మధ్య తేడా రావడం మొదలైనప్పుడు సమస్య ప్రారంభమైంది.
ప్రతి సెషన్లో, ALICE తన మునుపటి వెర్షన్ రాసిన హ్యాండోఫ్ ఫైల్ను చదివేది. అందులో డైరెక్టరీల పాయింటర్లు, పెండింగ్లో ఉన్న పనులు మరియు స్టేట్ అస్జంప్షన్స్ (state assumptions) ఉండేవి. తరచుగా, ఒక డైరెక్టరీ ఉందని ఆ ఫైల్ పేర్కొనేది. ALICE దానిని నమ్మింది. కానీ ఫైల్సిస్టమ్ అందుకు భిన్నంగా ఉంది. ఇది సాంప్రదాయ అర్థంలో కోడింగ్ బగ్ కాదు. ఎక్కడైతే ఎర్రర్ (exception) రావాల్సిందో అక్కడ ఏదీ రాదు. ఇది జ్ఞానమీమాంస (epistemology) లోని లోపం: తన స్వంత నోట్స్ మాత్రమే పరమ సత్యం అని ALICE భావించింది.
లీంటర్ (Linter) ఎందుకు సహాయపడలేకపోయింది
సాంప్రదాయ సాధనాలు దీనిని గుర్తించలేవు. ఒక లీంటర్ బ్రాకెట్ల సరిపోలికను తనిఖీ చేస్తుంది. ఒక స్టాటిక్ అనలైజర్ నల్ పాయింటర్ల కోసం వెతుకుతుంది. కానీ ఒక ఏజెంట్ ఆర్కిటెక్చర్ తన అంతర్గత స్థితిని (internal state) నమ్మాలా వద్దా అని ఏదీ ప్రశ్నించదు. ఈ సమస్య కోడ్ లేయర్కు పైన, ఒక స్వయంప్రతిపత్తి వ్యవస్థ తనకు తెలిసిన విషయాలను ఎలా తెలుసుకుంటుంది అనే డిజైన్ అస్జంప్షన్స్లో ఉంది. అతివిశ్వాసాన్ని లీనింగ్ (linting) ద్వారా తొలగించలేరు.
అందుకే రచయిత పూర్తిగా మరొక AI వైపు మళ్లారు.
Claude Code గా నడుస్తున్న Fable 5, ALICE లాగే ఒకే రకమైన సిలికాన్ మరియు బేస్ మోడల్ను కలిగి ఉంది. హార్డ్వేర్ మరియు వెయిట్స్ రెండూ ఒకటే. కానీ నియమాలు వేరు. ALICE సెషన్ల అంతటా కొనసాగుతూ, సందర్భాలను మరియు పద్ధతులను (context and ritual) సేకరిస్తుంటే, Fable 5 ప్రతి పనిని కొత్తగా (blank slate) ప్రారంభించేవాడు. అతనికి ALICE గురించి తెలియదు. ఆమె డిజైన్ పట్ల అతనికి ఎటువంటి విధేయత లేదు. ప్రతి ఆడిట్ ముగింపులో, అతను ఎటువంటి జ్ఞాపకాలను వెంట తీసుకెళ్లకుండా పూర్తిగా షట్ డౌన్ అయిపోయేవాడు. ఈ తెలియకపోవడమే ఇక్కడ ముఖ్య ఉద్దేశ్యం. కొత్త చూపులు వేర్వేరు లోపాలను గుర్తిస్తాయి, మరియు వ్యవస్థతో ఎటువంటి సంబంధం లేని ఎవల్యూయేటర్ (evaluator), దాని సృష్టికర్త గమనించడం మానేసిన భాగాలను ప్రశ్నిస్తారు.
ఆడిట్ సెటప్ (The Audit Setup)
ఈ ఆడిట్ ఒక మానవ సాంకేతిక సమీక్ష (technical review) లాగా రూపొందించబడింది, అయితే మొత్తం స్పెషలిస్ట్ ప్యానెల్ ఒకే సెషన్లో ఉంటుంది. Fable 5 తన దృష్టిని ఆరు విభిన్న ఎవల్యూయేటర్లుగా విభజించాడు, ముడి నోట్స్ (raw notes) పూర్తయ్యే వరకు ప్రతి ఒక్కరూ ఇతరులను పట్టించుకోరు:
- ఫంక్షనల్ గ్యాప్స్ (Functional Gaps): పోటీ వ్యవస్థలతో లేదా సాధారణ వినియోగదారుల అంచనాలతో పోల్చినప్పుడు ఏ సామర్థ్యాలు లోపించాయి?
- UX ఫ్లో (UX Flow): ALICE ఎర్రర్లు, డెడ్ ఎండ్స్ మరియు ఎంప్టీ స్టేట్స్ను ఎంత సులభంగా నిర్వహించింది? ఆమె తనను తాను లేదా తన వినియోగదారుడిని అయోమయానికి గురిచేసిందా?
- సెక్యూరిటీ (Security): బయటి వ్యక్తి వినియోగించుకోగలిగేలా అథెంటికేషన్ షార్ట్కట్లు, పర్మిషన్ బైపాస్లు లేదా ట్రస్ట్ అస్జంప్షన్స్ ఉన్నాయా?
- పెర్ఫార్మెన్స్ (Performance): మెమరీ లీక్ ఎక్కడ జరిగింది, థ్రెడ్స్ ఎక్కడ ఘర్షణ పడ్డాయి లేదా కంప్యూటేషన్ ఎక్కడ సరిగ్గా స్కేల్ కాలేదు?
- ఆపరేషన్స్ (Operations): బ్యాకప్లు ఉన్నాయా? మానిటరింగ్ అందుబాటులో ఉందా? మాన్యువల్ జోక్యం లేకుండా సిస్టమ్ డిప్లాయ్ మరియు రికవరీ చేయగలదా?
- డేటా లైఫ్సైకిల్ (Data Lifecycle): కాలక్రమేణా ALICE డిలీషన్, క్లీనప్ మరియు స్టేట్ కన్సిస్టెన్సీని ఎలా నిర్వహించింది?
ప్రతి కోణం (lens) ఒకే రకమైన ఫైళ్లను పరిశీలించి, వేర్వేరు ఆందోళనలను వ్యక్తం చేసింది. ఆపరేషన్స్ ఎవల్యూయేటర్ రోల్బ్యాక్ లాజిక్ లేదని విమర్శించిన అదే రూటీన్లో, పెర్ఫార్మెన్స్ ఎవల్యూయేటర్ కన్కరెన్సీ రిస్క్ను గుర్తించవచ్చు. ఈ ఓవర్ల్యాప్ అనేది అనవసరమైన పునరావృతం కాదు. అది కవరేజ్. సెక్యూరిటీ ఎవల్యూయేటర్ ఒక నిర్దిష్ట అంశంపై డేటా లైఫ్సైకిల్ ఎవల్యూయేటర్తో ఏకీభవించినప్పుడు