2,465 బహిరంగంగా జాబితా చేయబడిన AI-agent “skills” పై నిర్వహించిన తాజా ఆడిట్లో, సగానికి పైగా ప్రచురించబడిన స్పెసిఫికేషన్ను ఉల్లంఘిస్తున్నట్లు మరియు 7.8 శాతం స్కిల్స్లో అవసరమైన మెటాడేటా లేకపోవడం వల్ల ఏ ఏజెంట్ కూడా వాటిని ఎంచుకోలేకపోతున్నట్లు తేలింది. ఈ లోపాలు ఈ స్కిల్స్ను స్వయంచాలకంగా కనుగొని లోడ్ చేసే ఏ వ్యవస్థ యొక్క విశ్వసనీయతకైనా ముప్పు కలిగిస్తాయి.
ఈ ఆడిట్ ఎందుకు ముఖ్యం
ఏజెంట్-స్కిల్ రిజిస్ట్రీలు డెవలపర్లు పునర్వినియోగపరచదగిన సామర్థ్యాలను (reusable capabilities)—అంటే ఒక స్వయంప్రతిపత్తి కలిగిన ఏజెంట్ (autonomous agent) అవసరమైనప్పుడు పిలిచే కోడ్ ప్యాకేజీలను—ప్రచురించడానికి అనుమతిస్తాయి. ఒక ఏజెంట్ రిజిస్ట్రీని స్కాన్ చేసి, ప్రతి స్కిల్ యొక్క YAML frontmatter (కనీసం పేరు మరియు వివరణ ఉండవలసిన ఒక చిన్న స్ట్రక్చర్డ్ టెక్స్ట్ బ్లాక్)ను చదువుతుంది, మరియు ఆ స్కిల్ తన లక్ష్యాలకు సరిపోతుందో లేదో నిర్ణయిస్తుంది. ఒకవేళ frontmatter లేకపోయినా లేదా తప్పుగా ఉన్నా, ఆ స్కిల్ ఏజెంట్ మెనూ నుండి మాయమవుతుంది. స్వయంప్రతిపత్తి కలిగిన ఏజెంట్లు సమావేశాలను షెడ్యూల్ చేయడం, సర్వర్లను ట్రబుల్షూట్ చేయడం వంటి పనులు చేసే ప్రపంచంలో, ఒక విచ్ఛిన్నమైన స్కిల్ మొత్తం వర్క్ఫ్లోను దెబ్బతీస్తుంది.
గణాంకాలు ఏమి చెబుతున్నాయి
- 57.8% స్కిల్స్లో కనీసం ఒక స్పెక్ ఉల్లంఘన (spec violation) ఉంది.
- 29.2% రిజిస్ట్రీ స్లగ్ (URL ఐడెంటిఫైయర్)తో సరిపోని పేరును కలిగి ఉన్నాయి.
- 18.1% విచ్ఛిన్నమైన ప్యాకేజీ పాత్లు లేదా డెడ్ లింక్లను కలిగి ఉన్నాయి.
- 7.8% (192 స్కిల్స్)కు అసలు YAML frontmatter లేదు, దీనివల్ల వాటికి పేరు లేదా వివరణ ఉండటం లేదు.
- 3.8% రచయిత యొక్క మెషీన్లో మాత్రమే ఉండే అబ్సల్యూట్ ఫైల్ పాత్లను (absolute file paths) కలిగి ఉన్నాయి.
- 2.4%
allowed-toolsఫీల్డ్ను తప్పుగా ఉపయోగిస్తున్నాయి, దీనివల్ల ఏజెంట్లు వాటిని చదవలేవు. - 2.1% ఎన్విరాన్మెంట్ వేరియబుల్స్ ద్వారా API కీలను బహిర్గతం చేస్తున్నాయి, ఇది భద్రత పరంగా ఒక హెచ్చరిక (security red flag).
- 1.3% ఎక్స్టర్నల్ కమాండ్-లైన్ టూల్స్ను ప్రకటించకుండానే పిలుస్తున్నాయి, ఇది పోర్టబిలిటీ రూల్ను ఉల్లంఘిస్తుంది.
పోర్టబిలిటీ సమస్యలు ఎక్కువగా కనిపిస్తున్నాయి. /home/USER/.local/bin/tool వంటి అబ్సల్యూట్ పాత్ స్కిల్ను రాసిన డెవలపర్కు పనిచేస్తుంది కానీ ఇతర వినియోగదారులందరికీ విఫలమవుతుంది, దీనివల్ల స్టాటిక్ చెక్లు ఎప్పుడూ గుర్తించలేని రన్టైమ్ ఎర్రర్స్ (runtime errors) వస్తాయి.
లోతైన విశ్లేషణ: openclaw కేసు
ఈ ఆడిట్ openclaw రిపోజిటరీలో ఉన్న 46 స్కిల్స్ను కూడా పరిశీలించింది. తప్పుడు అలారమ్లను నివారించడానికి టెస్టింగ్ స్క్రిప్ట్ను మెరుగుపరిచిన తర్వాత, రివ్యూయర్ 59 నిజమైన లోపాలను కనుగొన్నారు—అతిగా పనిచేసే (overly aggressive) లీంటర్లు (linters) ఒక్కోసారి రివర్స్ అయ్యే అవకాశం ఉందని ఇది గుర్తుచేస్తుంది. ఒక టూల్ చాలా ఎక్కువ హానిలేని సమస్యలను ఫ్లాగ్ చేసినప్పుడు, డెవలపర్లు దానిని ఉపయోగించడం మానేస్తారు, తద్వారా నిజమైన సమస్యలు బయటపడకుండా మిగిలిపోతాయి.
openclaw లోపాలలో రెండు, రిపోజిటరీలో లేని ఫైళ్లను సూచించాయి. మెయింటైనర్ ఆ మిస్సింగ్ రిఫరెన్స్లను పునరుద్ధరించేలా ఒక ఫిక్స్ను మెర్జ్ చేశారు, దీనివల్ల ఒకే ఒక పుల్ రిక్వెస్ట్ (pull request) విచ్ఛిన్నమైన డిపెండెన్సీ చైన్ను ఎలా శుభ్రం చేయగలదో తెలిసింది.
డెవలపర్ల స్పందనలు
ఆడిటర్ అసలు స్కిల్ రిపోజిటరీలలో ఇష్యూలను (issues) ఓపెన్ చేశారు. ఒక రిపోర్ట్ తిరస్కరించబడింది; "విచ్ఛిన్నం" (broken) అనేది స్టాటిక్ ఫైల్ ఇన్స్పెక్షన్ ద్వారా కాకుండా, వాస్తవ రన్టైమ్ ప్రవర్తన ద్వారా నిర్ణయించబడాలని మెయింటైనర్ వాదించారు. విచ్ఛిన్నం అనే కఠినమైన నిర్వచనం స్కిల్ ఆచరణలో ఎలా పనిచేస్తుందో దానికి అనుగుణంగా ఉండాలని ఆడిటర్ అంగీకరించారు. మరొక ఇష్యూ ఆమోదించబడింది మరియు దానికి సంబంధించిన ఫిక్స్ ఇప్పుడు లైవ్లో ఉంది.
ఎవరికి లాభం—లేదా నష్టం
- ఏజెంట్లు మరియు ఎండ్-యూజర్లు: రిజిస్ట్రీలో కేవలం నిబంధనలకు లోబడి, పోర్టబుల్ స్కిల్స్ మాత్రమే ఉన్నప్పుడు వారు మరింత సులభమైన, ఊహించదగిన ప్రవర్తనను పొందుతారు.
- స్కిల్ రచయితలు: ప్రచురణకు ముందే తప్పులను పట్టుకునే స్పష్టమైన వాలిడేషన్ రూల్స్ లభిస్తాయి, దీనివల్ల ఇష్యూ ట్రైయాజ్ (issue triage) కోసం చేసే అటూ ఇటూ పనులు తగ్గుతాయి.
- రిజిస్ట్రీ ఆపరేటర్లు: కఠినమైన వాలిడేషన్ పైప్లైన్లను నిర్మించాలి లేదా అనుసంధానించాలి; అవి లేకపోతే, ఈ ఎకోసిస్టమ్ యొక్క విశ్వసనీయత దెబ్బతినే ప్రమాదం ఉంది.
వదులుగా ఉండే వాలిడేషన్ వల్ల "త్వరగా మరియు అజాగ్రత్తగా" చేసే సబ్మిషన్లు పెరుగుతాయి, ఇవి ప్రొడక్షన్లో ఏజెంట్లను దెబ్బతీసి, ఖరీదైన డౌన్టైమ్ లేదా భద్రతా పరమైన ఇబ్బందులకు దారితీయవచ్చు.
వ్యతిరేక వాదన: అన్ని ఉల్లంఘనలు ప్రమాదకరమా?
కొందరు కొన్ని "లోపాలు" హాని చేయవని వాదిస్తారు. స్కిల్స్ను ప్రదర్శించబడే పేరు ద్వారా కాకుండా స్లగ్ (slug) ద్వారా ఎంచుకునే ఏజెంట్పై పేరు సరిపోలకపోవడం ప్రభావం చూపకపోవచ్చు. లోకల్ డెవలప్మెంట్ కోసం ఎన్విరాన్మెంట్ నుండి API కీలను చదవడం అనేది ఒక ఉద్దేశపూర్వక డిజైన్ ఎంపిక కావచ్చు. అయితే, ఈ ఆడిట్ యొక్క శాతాలు స్పెక్ నుండి జరిగే ఏ మార్పునైనా ఉల్లంఘనగా పరిగణిస్తాయి, ఇది కొన్ని సమస్యల యొక్క వాస్తవ ప్రభావాన్ని అతిగా చూపవచ్చు.
తదుపరి ఏం గమనించాలి
- మెరుగుపరచబడిన లీంటర్లు (Enhanced linters): ఇవి నిజమైన పోర్టబిలిటీ బగ్లను సాధారణ వింతల నుండి వేరు చేస్తాయి.
- రిజిస్ట్రీ-సైడ్ వాలిడేషన్ హుక్స్ (Registry-side validation hooks): ఇవి అవసరమైన frontmatter లేని లేదా అబ్సల్యూట్ పాత్లను కలిగి ఉన్న సబ్మిషన్లను తిరస్కరిస్తాయి.
- కమ్యూనిటీ ఆధారిత ఆడిట్లు: ఇవి సమస్యలు ప్రొడక్షన్ ఏజెంట్లకు చేరుకోకముందే దాగి ఉన్న లోపాలను బయటపెడతాయి.
- సంభావ్య స్పెక్ సవరణలు: ఇవి
allowed-toolsవంటి అస్పష్టమైన ఫీల్డ్లను స్పష్టం చేస్తాయి మరియు ఎన్విరాన్మెంట్ వేరియబుల్స్ యొక్క ఆమోదయోగ్యమైన వినియోగాన్ని నిర్వచిస్తాయి.
తదుపరి టూలింగ్ తరంగాలు బహుశా ఈ తనిఖీలను కంటిన్యూయస్-ఇంటిగ్రేషన్ (continuous-integration) పైప్లైన్లలోనే పొందుపరుస్తాయి, తద్వారా కంప్లయన్స్ అనేది మాన్యువల్ పద్ధతి నుండి ఆటోమేటిక్ గేట్గా మారుతుంది.
ముగింపు (Takeaway)
బహిరంగంగా జాబితా చేయబడిన AI-ఏజెంట్ నైపుణ్యాలలో మెజారిటీ ప్రాథమిక నిబంధనల తనిఖీలలో విఫలమవుతున్నాయి, మరియు గణనీయమైన భాగం అసలు ఎంపిక చేయబడలేవు. ఈ ఫలితాలు కఠినమైన ధృవీకరణ, మెరుగైన లింటింగ్ టూల్స్ మరియు ప్రచురణకు స్పెసిఫికేషన్ అనుసరణను ఒక ముందస్తు అవసరంగా పరిగణించే కమ్యూనిటీ సంస్కృతి యొక్క స్పష్టమైన అవసరాన్ని నొక్కి చెబుతున్నాయి. ఆ రక్షణ చర్యలు అమలులోకి వచ్చే వరకు, ఏజెంట్లు సున్నితమైన, నాన్-పోర్టబుల్ నైపుణ్యాల వల్ల ఇబ్బందులు ఎదుర్కొంటూనే ఉంటాయి.