𝗬𝗼𝘂𝗿 𝗔𝗜 𝗣𝗿𝗼𝘃𝗶𝗱𝗲𝗿 𝗜𝘀 𝗮 𝗦𝗶𝗻𝗴𝗹𝗲 𝗣𝗼𝗶𝗻𝘁 𝗼𝗳 𝗙𝗮𝗶𝗹𝘂𝗿𝗲

আপনার AI প্রোভাইডার একটি সিঙ্গেল পয়েন্ট অফ ফেইলিওর (Single Point of Failure)

গত শুক্রবার, মার্কিন বাণিজ্য বিভাগ Anthropic-কে একটি চিঠি পাঠায়। সেই সন্ধ্যার মধ্যেই Fable 5 এবং Mythos 5 অদৃশ্য হয়ে যায়।

সেগুলোকে deprecate করা হয়নি। সেগুলোর গতি কমানো (throttle) হয়নি। সেগুলো স্রেফ উধাও হয়ে গিয়েছিল।

API কলগুলো 404 এরর (error) দেখাচ্ছিল। লাইভ সেশনগুলো কথোপকথনের মাঝপথেই ব্যর্থ হচ্ছিল। সেই মডেলগুলোর ওপর নির্ভরশীল অ্যাপ্লিকেশনগুলো কাজ করা বন্ধ করে দিয়েছিল। লঞ্চ করার মাত্র তিন দিন পরেই এটি ঘটেছিল। কোনো সতর্কতা বা মাইগ্রেশনের (migration) সুযোগ দেওয়া হয়নি।

আমরা ভাগ্যবান ছিলাম কারণ সেই মডেলগুলো নতুন ছিল। কেউ সেগুলোর ওপর গভীর নির্ভরতা তৈরি করেনি। কল্পনা করুন, আপনি যে মডেলটি ছয় মাস ধরে প্রতিদিন ব্যবহার করছেন, সেটির ক্ষেত্রে এমনটা ঘটলে কী হতো।

যদি একটি সরকারি চিঠির কারণে আপনার প্রাইমারি ডাটাবেস বন্ধ হয়ে যেতে পারে, তবে আপনি কি কোনো failover ব্যবস্থা ছাড়াই এটি চালাতেন? অবশ্যই না। তবুও, বেশিরভাগ টিম AI-এর ক্ষেত্রে ঠিক এটাই করছে।

অনেক টিম AI-কে বিদ্যুতের মতো মনে করে। আপনি সুইচ অন করেন এবং আলো পাওয়ার আশা করেন। আপনি এর উৎস বা বিদ্যুৎ চলে গেলে কী হবে তা নিয়ে ভাবেন না। আপনি একটি মডেল বেছে নেন, একটি endpoint হার্ডকোড করেন এবং শিপ (ship) করে দেন।

এটি ইঞ্জিনিয়ারিং নয়। এটি হলো আশার ওপর ভিত্তি করে তৈরি আর্কিটেকচার (hope-driven architecture)।

মডেলগুলো নিচের কারণে অদৃশ্য হয়ে যেতে পারে:

• রেগুলেটরি কারণ (Regulatory reasons)
• পলিসি পরিবর্তন
• ভূ-রাজনৈতিক সমস্যা (Geopolitical issues)

Anthropic-এর পরিস্থিতি কোনো বাগ (bug) বা ইনফ্রাস্ট্রাকচার ফেইলিওর ছিল না। এটি ছিল একটি রেগুলেটরি কিল সুইচ (regulatory kill switch)।

আপনার মডেল লেয়ারে অবশ্যই স্থিতিস্থাপকতা (resilience) তৈরি করতে হবে। এই প্যাটার্নগুলো ব্যবহার করুন:

• আপনার মডেল কলগুলোকে অ্যাবস্ট্রাক্ট (abstract) করুন। একটি ইন্টারফেস ব্যবহার করুন যাতে আপনার অ্যাপ কোন প্রোভাইডার রেসপন্স দিচ্ছে তা নিয়ে চিন্তিত না থাকে।
• একাধিক প্রোভাইডার ব্যবহার করুন। প্রোভাইডার পরিবর্তন করা একটি কনফিগারেশন পরিবর্তনের মতো হওয়া উচিত, সম্পূর্ণ নতুন করে লেখার মতো নয়।
• ওপেন-ওয়েট (open-weight) মডেল ব্যবহার করুন। আপনি যদি নিজেই মডেলটি চালান, তবে কেউ দূর থেকে এটি বন্ধ করতে পারবে না। গ্রিড বা বিদ্যুৎ চলে গেলে এই মডেলগুলো জেনারেটরের মতো কাজ করে।
• গ্রেসফুল ডিগ্রেডেশন (graceful degradation) প্রয়োগ করুন। একটি অ্যাপ্লিকেশন পুরোপুরি অকেজো হওয়ার চেয়ে একটি ছোট বা পুরনো মডেল ব্যবহার করা অনেক ভালো।

আপনার এরর রেট (error rate) মনিটর করুন। যদি এটি হঠাৎ বেড়ে যায়, তবে ট্রাফিক আপনার ফলব্যাক (fallback)-এ পাঠিয়ে দিন।

আপনার AI-কে অন্য যেকোনো গুরুত্বপূর্ণ প্রোডাকশন ডিপেন্ডেন্সির (production dependency) মতো বিবেচনা করুন। ফেইলিউরের কথা মাথায় রেখেই ডিজাইন করুন।

আপনার আর্কিটেকচার কি ধরে নেয় যে আপনার প্রোভাইডার ব্যর্থ হতে পারে? যদি না হয়, তবে আপনি ঝুঁকির মুখে আছেন।

আপনি কি আপনার স্ট্যাকে মাল্টি-প্রোভাইডার ফলব্যাক (multi-provider fallback) তৈরি করেছেন? কমেন্টে আমাকে জানান।

Source: https://dev.to/aws/your-ai-provider-is-a-single-point-of-failure-26i2

Optional learning community: https://t.me/GyaanSetuAi