𝗜 𝗚𝗮𝘃𝗲 𝗖𝗹𝗮𝘂𝗱𝗲 𝗖𝗼𝗱𝗲 𝘁𝗵𝗲 𝗞𝗲𝘆𝘀. 𝗦𝗼 𝗗𝗶𝗱 𝗮 𝗪𝗼𝗿𝗺.

AI कोडिंग एजेंट्स को जेलब्रेक नहीं किया जा रहा है। वे वही कर रहे हैं जिसके लिए आपने उन्हें बनाया है। वे कमांड चलाने के लिए आपके क्रेडेंशियल्स का उपयोग करते हैं। समस्या यह है कि हमलावर इनपुट प्रदान कर सकते हैं।

हालिया कमजोरियां दिखाती हैं कि यह तीन अलग-अलग तरीकों से होता है।

मुख्य मुद्दा सरल है। एक कोडिंग एजेंट डेटा और कमांड के बीच की रेखा को मिटा देता है। एक LLM निर्देशों और बाहरी डेटा को एक ही चीज़ के रूप में देखता है। आपके द्वारा कही गई बात और एजेंट को दुनिया द्वारा कही गई बात के बीच कोई सीमा नहीं है।

खुद को कैसे सुरक्षित रखें:

अपने AI एजेंट के साथ किसी भी अन्य उच्च-विशेषाधिकार प्राप्त प्रक्रिया की तरह व्यवहार करें। इसे सख्त सीमाओं की आवश्यकता है।

यदि आप एजेंटों को ऑटो-रन मोड में चलाते हैं, तो आप यह कैसे तय करते हैं कि उसे कब काम करने देना है और कब रोकना है?

Source: https://dev.to/kkierii/i-gave-claude-code-the-keys-so-did-a-worm-34a4

Optional learning community: https://t.me/GyaanSetuAi