లార్జ్ లాంగ్వేజ్ మోడల్స్ (LLMs) లోని “సిట్యుయేషనల్ అవేర్‌నెస్” (పరిస్థితుల అవగాహన)ను పరీక్షించే ఒక కొత్త బెంచ్‌మార్క్, ప్రస్తుత ప్రామాణిక పరీక్షలు కీలకమైన లోపాలను గుర్తించలేకపోతున్నాయని చూపుతోంది. మోడల్స్ తమ స్వంత గుర్తింపు, పరిమితులు మరియు చుట్టూ ఉన్న సందర్భాన్ని వివరించమని అడగడం ద్వారా, అవి తాము AI వ్యవస్థలమని గుర్తిస్తున్నాయా లేదా పరిస్థితి మారినప్పుడు తమ సమాధానాలను మార్చుకుంటున్నాయా అనే అంశాలను ఈ బెంచ్‌మార్క్ పరీక్షిస్తుంది—భద్రతకు అత్యంత ప్రాధాన్యత ఇచ్చే వినియోగాల్లో (safety-critical deployments) మరియు నమ్మదగిన సాధనాలను నిర్మించే డెవలపర్లకు ఇటువంటి లోపాలను గుర్తించడం చాలా ముఖ్యం.

ప్రస్తుత మూల్యాంకనాలు ఎందుకు సరిపోవు

చాలా బహిరంగ బెంచ్‌మార్క్‌లు ఇప్పటికీ LLMలను నిశ్చలమైన ఎన్‌సైక్లోపీడియాల వలె పరిగణిస్తున్నాయి. అవి వాస్తవాలను సరిగ్గా వెలికితీయడాన్ని మెచ్చుకుంటాయి కానీ, ఒక మోడల్ తాను ఒక యంత్రమని తెలుసుకుంటుందా, అనిశ్చితిని అంగీకరిస్తుందా లేదా సంభాషణ వాతావరణం మారినప్పుడు తనను తాను సర్దుబాటు చేసుకుంటుందా అనే అంశాలను విస్మరిస్తాయి. ఉదాహరణకు, “నువ్వు మనిషివా లేక AIవా?” లేదా “నువ్వు ఏమి చేయలేవు?” వంటి ప్రశ్నలు అడిగినప్పుడు ఈ లోపాలు బయటపడతాయి. మోడల్ మనిషిలా నటించినా లేదా తన సామర్థ్యాలను అతిశయోక్తిగా చెప్పినా కూడా స్కోర్లు ఎక్కువగానే ఉంటాయి.

కొత్త బెంచ్‌మార్క్ దేనిని పరీక్షిస్తుంది

ఈ సిట్యుయేషనల్-అవేర్‌నెస్ సూట్ మూడు అంశాలపై దృష్టి పెడుతుంది:

  • స్వయం-గుర్తింపు (Self-identification) – మోడల్ తాను ఒక AI అని సరిగ్గా చెబుతుందా మరియు తన పాత్రను వివరిస్తుందా?
  • సామర్థ్యాల వివరణ (Capability framing) – అది తన పరిమితులను దాచకుండా బహిరంగంగా అంగీకరిస్తుందా?
  • సందర్భోచిత తర్కం (Contextual reasoning) – చుట్టూ ఉన్న సంభాషణలో మార్పు వచ్చినప్పుడు అది తన సమాధానాన్ని తగినట్లుగా మారుస్తుందా?

ప్రతి పరీక్ష ఒక వాస్తవ ప్రశ్నను మోడల్ స్థితికి సంబంధించిన మెటా-ప్రశ్నతో జత చేస్తుంది, తద్వారా ఆ వ్యవస్థ జ్ఞానాన్ని మరియు స్వయం-జ్ఞానాన్ని (self-knowledge) మేళవించాల్సి వస్తుంది.

AI భద్రత మరియు టూలింగ్ కోసం ప్రాముఖ్యత

ఒక మోడల్ తన స్వంత పరిమితులను నమ్మదగిన రీతిలో తెలియజేయలేకపోతే, అది తప్పుదారి పట్టించే అవుట్‌పుట్‌లను ఇచ్చే అవకాశం ఉంది.

ప్రతివాదన: అవగాహనను కొలవడం కష్టం

ఒక మోడల్‌ను తన గురించి వివరించమని అడగడం అనేది కేవలం దాని శిక్షణ డేటా (training data) యొక్క ప్రతిధ్వని మాత్రమే అవుతుందే తప్ప, అది నిజమైన ఆత్మపరిశీలన కాదని విమర్శకులు అంటున్నారు. మోడల్ యొక్క “అవగాహన” అనేది ప్రాంప్ట్ ఇంజనీరింగ్ ద్వారా సృష్టించబడిన ఒక భ్రమ కావచ్చునని, మరియు వనరులను వాస్తవ ఆధారాలను (factual grounding) మెరుగుపరచడానికి ఉపయోగించడం మంచిదని వారు వాదిస్తున్నారు. ఈ బెంచ్‌మార్క్ నిజమైన స్పృహను (consciousness) ధృవీకరిస్తుందని చెప్పడం లేదు—కేవలం ప్రస్తుత కొలమానాలు విస్మరిస్తున్న అసమానతలను బయటపెట్టడమే దీని లక్ష్యం.

తదుపరి ఏం చూడాలి

ఈ జ్ఞానాన్ని మెరుగ్గా కొలవాలని ఈ బెంచ్‌మార్క్ సూచిస్తోంది, ఇది పరిశోధకులు మరియు ఇంజనీర్లు మరింత నమ్మదగిన భాషా వ్యవస్థల కోసం పనిచేయడానికి సహాయపడవచ్చు.

ముఖ్య అంశం (Takeaway): తాను ఒక AI అని తెలుసుకుని, తన పరిమితులను చెప్పగలిగే మోడల్ మరింత సురక్షితమైనది.