AI అనుమానాలను (Inference) వాస్తవాలుగా (Fact) తప్పుగా లేబుల్ చేయకుండా ఎలా ఆపాలి

AI రీసెర్చ్ ఏజెంట్లు తరచుగా వాస్తవాలను (facts) ఊహలతో (guesses) కలిపివేస్తుంటాయి. ఒక వెబ్ పేజీ మార్కెట్ విలువను పేర్కొనవచ్చు. ఏజెంట్ అప్పుడు మార్కెట్ వేగంగా పెరుగుతోందని ముగింపునిస్తుంది. తుది పాఠ్యంలో (final text) ఈ రెండు ప్రకటనలు ఒకేలా కనిపిస్తాయి. డేటా మరియు అభిప్రాయాల ఈ మిశ్రమం ప్రమాదకరమైనది.

మెరుగైన ప్రాంప్ట్‌లతో (prompts) దీనిని సరిదిద్దలేరు. ప్రాంప్ట్‌లు సంభావ్యత (probabilistic) ఆధారితమైనవి. ఒత్తిడిలో ఉన్నప్పుడు, మోడల్ ఊహించే అవకాశం ఉంటుంది.

దీనికి పరిష్కారం నిర్మాణాత్మకమైనది (structural). నిర్ణయ ప్రక్రియను LLM నుండి మీ కోడ్‌కు మార్చండి.

పనిని రెండు భాగాలుగా విభజించండి:

LLM చేసే పనులు:

  • ఒక పేజీ నుండి క్లెయిమ్‌లను (claims) సంగ్రహించడం.
  • టెక్స్ట్‌ను సారాంశం చేయడం.

Deterministic కోడ్ చేసే పనులు:

  • క్లెయిమ్‌లకు స్కోర్ ఇవ్వడం.
  • మూలాలను (sources) సరిచూడటం.
  • క్లెయిమ్‌లను FACT లేదా INFERENCE గా లేబుల్ చేయడం.
  • డేటా తాజాగా ఉందో లేదో నిర్ణయించడం.

ఒక క్లెయిమ్ కఠినమైన నిబంధనలను పాటిస్తేనే FACT లేబుల్‌ను పొందుతుంది. ఉదాహరణకు, అది రెండు స్వతంత్ర మూలాల నుండి లేదా ఒక అధికారిక API నుండి రావాలి. మిగిలినవన్నీ INFERENCE గా పరిగణించబడతాయి.

ఈ పైప్‌లైన్‌ను ఉపయోగించండి:

  1. PLAN: ప్రశ్నను సబ్-క్వరీలుగా (sub-queries) మార్చండి.
  2. HARVEST: వివిధ మార్గాల నుండి డేటాను సేకరించండి.
  3. NORMALIZE: స్ట్రక్చర్డ్ క్లెయిమ్‌లను సంగ్రహించడానికి LLMని ఉపయోగించండి. ఇది మాత్రమే LLMని ఉపయోగించే దశ.
  4. CORROBORATE: క్లెయిమ్‌లను సమూహపరచండి మరియు స్వతంత్ర మూలాలను లెక్కించండి.
  5. SCORE: లేబుల్‌లను కేటాయించడానికి నిబంధనలను వర్తింపజేయండి.
  6. RENDER: వాస్తవాలు, అనుమానాలు (inferences) మరియు లేని సమాచారాన్ని చూపండి.

స్వతంత్రత అనేది కీలకం. ఒక బ్లాగ్ మరొక బ్లాగ్‌ను ఉటంకించడం అంటే రెండు మూలాలు అని కాదు. ఒక వాస్తవాన్ని ధృవీకరించడానికి మీకు విభిన్న డొమైన్‌లు లేదా అధికారిక API అవసరం.

నమ్మకమైన ఏజెంట్ కోసం ఈ నియమాలను పాటించండి:

  • Escalation ఉపయోగించండి: మొదట వెబ్ సెర్చ్ ప్రయత్నించండి. మొదటి దశ విఫలమైతేనే న్యూస్ ఇంజిన్ లేదా అకడమిక్ సెర్చ్‌కు వెళ్లండి.
  • Freshnessని ట్రాక్ చేయండి: పాత డేటాను stale (పాతది) గా లేబుల్ చేయండి. పాత వాస్తవాలను ప్రస్తుతమైనవిగా చూపకండి.
  • Gapsను వెల్లడించండి: మీరు కనుగొనలేకపోయిన వాటిని జాబితా చేయండి. సమాచారం లేకపోవడాన్ని (silent gap) విఫలమవ్వడంగా పరిగణించాలి.
  • Reproducibilityని నిర్ధారించండి: ఒకే క్వెరీ ప్రతిసారీ ఒకే రకమైన లేబుల్‌లను ఇవ్వాలి. లేబుల్‌లు మారుతుంటే, LLM డేటాకు స్కోర్ ఇస్తోందని అర్థం. ఆ LLM కాల్‌ను ఒక ఫంక్షన్‌తో భర్తీ చేయండి.

ఈ పద్ధతి మోడల్ దేనిలో ఉత్తమమో అది చేయనిస్తుంది: చదవడం మరియు సంగ్రహించడం. ఇది ఏది నిజమో నిర్ణయించే అధికారాన్ని మోడల్‌కు ఇవ్వకుండా నిరోధిస్తుంది.

Source: https://dev.to/hexisteme/how-to-make-an-ai-research-agent-label-facts-vs-inferences-a-deterministic-provenance-pipeline-5dfn

Optional learning community: https://t.me/GyaanSetuAi