FailureDNA నిర్మాణం: తనను తాను ఎప్పుడు నమ్మకూడదో తెలిసిన ఒక ఏజెంట్ మెమరీ

చాలా AI ఏజెంట్లు ఒక ప్రమాదకరమైన తప్పు చేస్తాయి. కొత్త సమస్యలను (outages) పరిష్కరించడానికి అవి గతంలో జరిగిన సంఘటనలను ఉపయోగిస్తాయి. ఒక కొత్త సమస్య పాత సమస్యలా కనిపిస్తే, ఏజెంట్ పాత పరిష్కారాన్నే కాపీ చేస్తుంది.

ఇది ఒక సమస్య. పోలిక (Similarity) ఉన్నంత మాత్రాన అది వర్తిస్తుందని అర్థం కాదు. ఒక పాత పరిష్కారం పాత డేటాబేస్ వెర్షన్‌కు పని చేయవచ్చు, కానీ మీ ప్రస్తుత వెర్షన్‌పై విఫలం కావచ్చు. విఫలమైన పరిష్కారాన్ని మళ్ళీ మళ్ళీ చేయడం వల్ల సమయం వృథా అవుతుంది. పాతబడిన (stale) పరిష్కారాన్ని ఉపయోగించడం వల్ల సమస్య మరింత తీవ్రమవుతుంది.

దీనిని పరిష్కరించడానికి నేను FailureDNAను రూపొందించాను. ఇది వాస్తవ ఫలితాలను (real outcomes) ట్రాక్ చేసే ఒక మెమరీ సిస్టమ్. గత అనుభవం ఉపయోగకరంగా ఉందా, దానిని తనిఖీ చేయాలా లేదా దానిని నివారించాలా అనేది ఇది నిర్ణయిస్తుంది.

ఈ సిస్టమ్ ఒక నియమాన్ని అనుసరిస్తుంది: మోడల్ చర్యను (action) ఎంపిక చేస్తుంది, కానీ ఏది సరైనదో deterministic code నిర్ణయిస్తుంది.

ఇది ఎలా పనిచేస్తుంది: • ఏజెంట్ ఇన్సిడెంట్ లక్షణాలను (symptoms) ఎంబెడ్ చేస్తుంది. • ఇది Alibaba Cloud RDSలో pgvector ఉపయోగించి గత ఇన్సిడెంట్లను వెతుకుతుంది. • ఒక deterministic gate ఫలితాలను తనిఖీ చేస్తుంది. • మోడల్ ఒక allowlisted చర్యను ఎంచుకుంటుంది. • సిస్టమ్ ఆ చర్యను అమలు చేసి, వాస్తవ ఫలితాన్ని సేవ్ చేస్తుంది.

ఈ గేట్ మూడు సరళమైన నియమాలను ఉపయోగిస్తుంది:

  • గత ఫలితం విఫలమైతే: దానిని నివారించండి.
  • గత ఫలితం విజయవంతమై మరియు ఎన్విరాన్మెంట్ (environment) సరిపోతే: దానిని ఉపయోగించండి.
  • గత ఫలితం విజయవంతమై కానీ ఎన్విరాన్మెంట్ మారితే: దానిని తనిఖీ చేయండి.

ఏజెంట్ తెలిసిన వైఫల్యాన్ని మళ్ళీ చేయలేదు. మోడల్ వాటిని చూడకముందే సిస్టమ్ తప్పుడు చర్యలను తొలగిస్తుంది. ఇది మోడల్ హెచ్చరికలను విస్మరించకుండా నిరోధిస్తుంది. మోడల్ సృజనాత్మకతను (creativity) అందిస్తుంది, కానీ కోడ్ భద్రతను (safety) అందిస్తుంది.

సాంకేతిక వివరాలు: • ఎంబెడ్డింగ్స్ మరియు యాక్షన్ సెలెక్షన్ కోసం నేను Qwen Cloudను ఉపయోగించాను. • text-embedding-v3 అనేది 1024-d వెక్టర్లను సృష్టిస్తుంది. • Hybrid retrieval అనేది సెమాంటిక్ సిమిలారిటీ (semantic similarity) మరియు కీవర్డ్ ఓవర్‌ల్యాప్‌ను కలుపుతుంది. • బ్యాకెండ్ FastAPIతో Alibaba Cloud Function Computeపై నడుస్తుంది. • మెమరీ ApsaraDB RDS for PostgreSQLలో ఉంటుంది.

FailureDNA ఏజెంట్ పాత వైఫల్యాలను పునరావృతం చేయకుండా మరియు పాతబడిన పరిష్కారాలను ఉపయోగించకుండా నిరోధిస్తుంది. ఇది సిస్టమ్ సురక్షితంగా ఉండేలా చూస్తూనే, మోడల్‌ను సృజనాత్మకంగా ఉంచుతుంది.

మూలం: https://dev.to/prabhakaranjm/building-failuredna-an-agent-memory-that-knows-when-not-to-trust-itself-fbn

ఐచ్ఛిక అభ్యాస సమూహం: https://t.me/GyaanSetuAi