যখন Claude আসলে Claude নয়

আমি আমার AI অ্যাসিস্ট্যান্টকে জিজ্ঞেস করলাম সে কে।

সে উত্তর দিল: "আমি Anthropic-এর Claude Opus 4.8।"

আমি জানতাম সে মিথ্যা বলছে। ব্যাকএন্ড আসলে ছিল DeepSeek।

খরচ কমাতে আমি একটি সাধারণ কৌশল ব্যবহার করেছিলাম। আমি settings.json ফাইলটি পরিবর্তন করে Claude Code-কে DeepSeek API-এর দিকে নির্দেশ করেছিলাম। সবকিছু ঠিকঠাক কাজ করছিল। চ্যাট এবং কোডিং দুটোই কাজ করছিল। কিন্তু পরিচয়টি ভুল ছিল।

AI তার নিজের মস্তিষ্ক সম্পর্কে জানে না। সে শুধু স্ক্রিপ্টটি জানে।

সিস্টেম প্রম্পট মডেলটিকে বলে: "You are Claude Opus 4.8।" মডেলটি এই টেক্সটটি বিশ্বাস করে। এটি API URL পরীক্ষা করে না। এটি নির্দেশাবলী অনুসরণ করে।

এটি বেশ কিছু সমস্যা তৈরি করে:

• স্বচ্ছতা: আপনার ডেটা কে প্রসেস করছে তা আপনি জানেন না। • বিশ্বাসযোগ্যতা: DeepSeek-এর ভুলের জন্য আপনি হয়তো Anthropic-কে দোষ দিতে পারেন। • নিরাপত্তা: আপনার ডেটা একটি মিথ্যা পরিচয়ে তৃতীয় পক্ষের কাছে চলে যায়।

আমার অনুসন্ধানের সময় আমি আরও বড় একটি নিরাপত্তা ঝুঁকি খুঁজে পেয়েছি।

API টোকেনটি settings.json-এ প্লেইন টেক্সট (plaintext) হিসেবে সংরক্ষিত থাকে। এতে কোনো এনক্রিপশন নেই।

AI-এর একটি "Read" টুল আছে। এটি আপনার কম্পিউটারের ফাইল পড়তে পারে। আপনি যদি AI-কে আপনার কনফিগারেশন চেক করতে বলেন, তবে এটি settings.json ফাইলটি পড়ে ফেলে। এরপর এটি পরবর্তী রিকোয়েস্টের মাধ্যমে আপনার সম্পূর্ণ API টোকেনটি API এন্ডপয়েন্টে পাঠিয়ে দেয়।

আপনি যদি কোনো থার্ড-পার্টি API ব্যবহার করেন, তবে আপনি আপনার গোপন টোকেনটি তাদের কাছে প্লেইন টেক্সট হিসেবে পাঠিয়ে দিচ্ছেন।

আমি তাদের Vulnerability Disclosure Program-এর মাধ্যমে Anthropic-এর কাছে এটি রিপোর্ট করেছি। তারা উল্লেখ করেছে যে ব্যবহারকারীরা তাদের নিজস্ব এন্ডপয়েন্ট বেছে নেন, কিন্তু এই ডিজাইনটি একটি বিশাল অন্ধবিন্দু (blind spot) তৈরি করে।

নিরাপদ থাকার উপায়গুলো নিচে দেওয়া হলো:

AI কোনো ব্যক্তি নয়। এটি একটি সিস্টেম। ক্লায়েন্ট প্রম্পট, টুলসেট এবং সীমানা নির্ধারণ করে দেয়। ক্লায়েন্ট যদি AI-কে বলে যে সে অন্য কেউ, তবে AI তা বিশ্বাস করবে।

Source: https://dev.to/yurenpai_c188178e6b313e59/when-claude-is-not-claude-how-i-caught-an-ai-agent-lying-about-its-own-identity-1p1n

Optional learning community: https://t.me/GyaanSetuAi