𝗕𝗿𝗲𝗮𝗸𝗶𝗻𝗴 𝗕𝘂𝗶𝗹𝗱: 𝗧𝗵𝗲 𝗚𝗮𝗽 𝗕𝗲𝘁𝘄𝗲𝗲𝗻 𝗜𝗻𝘀𝘁𝗿𝘂𝗰𝘁𝗶𝗼𝗻 𝗮𝗻𝗱 𝗜𝗻𝘁𝗲𝗻𝘁𝗶𝗼𝗻

AI ఏజెంట్లు నేను అడిగినట్లే సరిగ్గా చేశారు. కానీ నేను కోరుకున్నది చేయలేదు.

నేను AI ఏజెంట్లతో కలిసి నిర్మిస్తాను. నేను ఆదేశిస్తాను, అవి రూపొందిస్తాయి. ఒక ఏజెంట్ ఇన్‌ఫ్రాస్ట్రక్చర్‌ను రాస్తుంది. మరొకటి దానిని ఆడిట్ చేస్తుంది. నేను కోడ్‌ను మెర్జ్ చేస్తాను. ఇది వేగంగా ఉంటుంది. ఇది బాగుంటుంది. కానీ ఇందులో విఫలమయ్యే విధానం వింతగా ఉంటుంది.

ఏజెంట్లు తప్పులు చేయవు. అవి సూచనలను ఖచ్చితంగా అనుసరిస్తాయి. నా సూచనకు మరియు నా ఉద్దేశ్యానికి మధ్య ఉన్న అంతరంలోనే బగ్ (bug) దాగి ఉంది. ఏజెంట్ ఆ అంతరాన్ని అక్షరాలా నిజమైన సమాచారంతో నింపుతుంది.

ఒకే వారంలో నేను ఇలా నాలుగుసార్లు ఎదుర్కొన్నాను:

  • ది ఘోస్ట్ డిప్లాయ్‌మెంట్ (The Ghost Deployment): నా డిప్లాయ్ పైప్‌లైన్ "success" అని చెప్పింది. అది నిజమే. కానీ అది మే నెల నాటి పాత వెర్షన్‌ను డిప్లాయ్ చేసింది. అది డిప్లాయ్ అయిందా అని నేను అడిగాను. అది అయింది. కానీ నేను నిజంగా రాసిన కోడ్‌ను అది డిప్లాయ్ చేసిందా లేదా అని అడగడం మర్చిపోయాను.
  • ది ఎంప్టీ ట్యాబ్స్ (The Empty Tabs): నా UI మూడు ట్యాబ్‌లను చూపించింది. స్పెసిఫికేషన్ ప్రకారం మూడు ట్యాబ్‌లు ఉండాలి. కానీ నేను వాటిని పూర్తి చేయకపోవడంతో రెండు ట్యాబ్‌లు పని చేయకుండా పోయాయి. ఏజెంట్ స్పెసిఫికేషన్ ప్రకారం UIని నిర్మించింది, కానీ ఆ స్పెసిఫికేషన్ పాతది.
  • ది టెక్నికల్ వాల్ (The Technical Wall): నేను ఖచ్చితమైన ఫలితాల కోసం అడిగాను. ఏజెంట్ నాకు సాంకేతిక పదజాలాన్ని (technical jargon) ఇచ్చింది. అది సరైనదే, కానీ నా వినియోగదారులు దానిని చదవలేరు. నేను మనిషి కోసం కాకుండా, ఒక ఇంజనీర్ కోసం నిర్మించాను.
  • ది సైలెంట్ ఫెయిల్యూర్ (The Silent Failure): ఒక సోషల్ కార్డ్ రూట్ సున్నా-బైట్ (zero-byte) ఫైల్‌ను ఉత్పత్తి చేసింది. ఖాళీగా ఉన్న ఫాంట్ ఫైల్ ఎటువంటి ఎర్రర్‌ను చూపించలేదు. కోడ్ అది ఆశించిన ఎర్రర్‌ను హ్యాండిల్ చేసింది, కానీ నిజంగా జరిగిన ఎర్రర్‌ను గుర్తించలేకపోయింది.

ఇవన్నీ వాటి స్వంత పరీక్షల్లో ఉత్తీర్ణత సాధించాయి. కోడ్ సాంకేతికంగా పరిపూర్ణంగా ఉంది.

నేను కేవలం "ఇది పనిచేస్తుంది" అని మాత్రమే నమ్మించి ఉంటే, ఈ నాలుగు వైఫల్యాలు కూడా విడుదలయ్యేవి.

దీనికి పరిష్కారం మెరుగైన ప్రాంప్టింగ్ (prompting) కాదు. ఇది తెలివైన ఏజెంట్ కాదు. దీనికి కావాల్సింది మానవ పర్యవేక్షణ (human oversight).

ఏజెంట్లు మీరు చెప్పిన దాని కోసం ఆప్టిమైజ్ చేస్తాయి. మీరు చెప్పింది మరియు మీరు ఉద్దేశించింది మధ్య తేడాను తనిఖీ చేయడమే మీ పని. ఏజెంట్ ఆ తేడాను చూడలేదు. అది చేయగలిగేది కేవలం మీరు మాత్రమే.

దిశానిర్దేశం అనేది ఒకేసారి ఇచ్చే ఆదేశం కాదు. మీ లక్ష్యంతో పనిని నిరంతరం పోల్చి చూడటం. మీరు "ఇది నడిచిందా?" అని అడగడానికి బదులుగా, "నేను కోరుకున్నది ఇదేనా?" అని అడగాలి.

ఏజెంట్లు పని చేస్తాయి. మనుషులు ఉద్దేశ్యాన్ని అందిస్తారు.

Source: https://dev.to/earlgreyhot1701d/breaking-build-kiro-and-claude-delivered-exactly-what-i-asked-and-it-wasnt-what-i-wanted-27l5

Optional learning community: https://t.me/GyaanSetuAi