LLMల మూలాలు నిజమైనవా కాదా అని అడగడం ఆపండి
మీరు ఒక AIని మూలాల జాబితా కోసం అడుగుతారు. అది మీకు శీర్షికలు, రచయితలు మరియు DOIs ఇస్తుంది. అంతా పరిపూర్ణంగా కనిపిస్తుంది. కానీ వాటిలో సగం కూడా లేవని మీరు తెలుసుకుంటారు.
ఆ DOI ఏదీ చూపించదు. ఆ పేపర్ అసలు రాయబడలేదు.
మోడల్ను "ఇది నిజమేనా అని మీకు ఖచ్చితంగా తెలుసా?" అని అడగడం మీ సహజ ప్రవృత్తి. AI 'అవును' అని చెబుతుంది. అది ఎప్పుడూ 'అవును' అనే చెబుతుంది. మీరు ఒక నకిలీదారుని (forger) అతని పని నిజమైనదా అని అడుగుతున్నట్లు అన్నమాట.
ఒక LLM పేపర్ల డేటాబేస్ను ఉపయోగించదు. అది ఒక క్రమంలో తదుపరి పదాన్ని అంచనా వేస్తుంది. AIకి, ఒక సైటేషన్ (citation) అనేది కేవలం ఒక నమూనా (pattern) మాత్రమే. ఒక సైటేషన్కు పేరు, సంవత్సరం మరియు పది అంకెలు ఉండాలని దానికి తెలుసు. అది నిజమైన మూలం యొక్క రూపాన్ని అనుకరిస్తుంది కానీ అందులో నిజం ఉండదు.
మోడల్ తన స్వంత పనిని వెరిఫై చేయమని అడగడం ఆపండి. అది రెండు కారణాల వల్ల చేయలేదు:
- దానికి లైవ్ రిజిస్ట్రీ (live registry) యాక్సెస్ లేదు. అది కేవలం నమ్మదగినట్లుగా అనిపించే వచనాన్ని మాత్రమే సృష్టిస్తుంది.
- అది ఇప్పటికే చెప్పిన విషయాన్ని ధృవీకరించే ధోరణిని (bias) కలిగి ఉంటుంది.
సమాచారాన్ని వెరిఫై చేయడానికి మీరు బాహ్య సాధనాలను (external tools) ఉపయోగించాలి. సాంకేతిక రచనల (technical writing) కోసం ఇక్కడ మూడు అంచెల ఫిల్టర్ ఉంది:
ఉనికి (Existence). Crossref వంటి API ద్వారా DOIని తనిఖీ చేయండి. ఒకవేళ API 404 ఎర్రర్ను ఇస్తే, ఆ మూలం నకిలీది. సృష్టించబడిన DOI ఎప్పటికీ పని చేయదు.
విశ్వసనీయత (Credibility). ఒక మూలం ఉండవచ్చు కానీ అది పనికిరాకుండా ఉండవచ్చు. జర్నల్ లేదా కాన్ఫరెన్స్ గుర్తింపు పొందిందో లేదో తనిఖీ చేయండి. సరైన DOI ఉన్నంత మాత్రాన నాణ్యత ఉండాలని గ్యారెంటీ లేదు.
ఖచ్చితత్వం (Fidelity). ఆ పేపర్ నిజంగా మీ వాదనను సమర్థిస్తుందా? మీరు కంటెంట్ను తప్పనిసరిగా చదవాలి. అబ్స్ట్రాక్ట్ (abstract) ప్రతి వివరాలను కవర్ చేస్తుందని అనుకోవద్దు. తప్పుడు వాదన కోసం ఉపయోగించిన నిజమైన సైటేషన్ కూడా ఒక అబద్ధమే.
ఇది కేవలం అకడమిక్ పేపర్లకు మాత్రమే కాదు. ఒక AI ఒక JIRA టికెట్, CVE నంబర్ లేదా కోడ్ కమిట్ను సైటేట్ చేస్తే, మీరు దానిని అసలు సిస్టమ్తో సరిచూసుకోవాలి.
AI ఆర్కిటెక్చర్లో అతిపెద్ద తప్పు మోడల్ తనను తాను వెరిఫై చేస్తుందని నమ్మడం. వెరిఫికేషన్ అనేది ఒక ప్రత్యేకమైన దశ కావాలి. వినియోగదారుడు ఫలితాన్ని చూడకముందే అది బాహ్య సత్య మూలానికి (external source of truth) అనుసంధానించబడాలి.
మోడల్స్ను మరింత నిజాయితీగా మార్చడానికి ప్రయత్నించకండి. అవి టెక్స్ట్ జనరేటర్లు, మరియు అవి ఎల్లప్పుడూ హాలూసినేట్ (hallucinate) చేస్తాయి. దానికి బదులుగా, అవి చెప్పే మాటలను గుడ్డిగా నమ్మడం ఆపండి.
మీరు రిజిస్ట్రీ ద్వారా వెరిఫై చేయలేని సైటేషన్, సైటేషన్ కాదు. అది ల్యాబ్ కోటు వేసుకున్న ఒక ఊహ మాత్రమే.
Source: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa
Optional learning community: https://t.me/GyaanSetuAi