অধিকাংশ সৃজনশীল সফটওয়্যার এখনও ধারণা এবং চূড়ান্ত ফাইলের মাঝে একজন মানুষের উপস্থিতির প্রত্যাশা করে। আপনি একটি ভিডিও এ...

অধিকাংশ সৃজনশীল সফটওয়্যার এখনও ধারণা এবং চূড়ান্ত ফাইলের মাঝে একজন মানুষের উপস্থিতির প্রত্যাশা করে। আপনি হয়তো একটি এআই-কে ভিডিও এডিটিংয়ের বর্ণনা দিতে পারেন, কিন্তু ক্লিপ ট্রিম করা, লেয়ার অ্যাডজাস্ট করা এবং ফ্রেম এক্সপোর্ট করার মতো আসল কাজগুলো সাধারণত আপনাকেই করতে হয়। এই ব্যবধানটি থাকার কারণ হলো মিডিয়া এডিটিং কোনো একক প্রম্পট এবং রেসপন্স ভিত্তিক কাজ নয়। এটি নির্ভরশীল সিদ্ধান্তের একটি দীর্ঘ শৃঙ্খল, যেখানে তৃতীয় ধাপটি তখনই অর্থবহ হয় যখন দ্বিতীয় ধাপটি প্রকৃতপক্ষে টাইমলাইন পরিবর্তন করে। সম্প্রতি শেয়ার করা একটি প্রজেক্ট Claude Code-কে Gemini Interactions API দ্বারা চালিত একটি stateful ভিডিও এডিটিং পাইপলাইনের সাথে যুক্ত করে ঠিক এই সমস্যার সমাধান করেছে। এর ফলাফল হলো একটি কার্যকরী প্রদর্শনী, যা দেখায় কীভাবে একটি এআই এজেন্টকে কেবল পরামর্শ দেওয়ার পরিবর্তে একটি সৃজনশীল ওয়ার্কফ্লোর প্রকৃত পরিচালক হিসেবে ব্যবহার করা যায়।

একজন পরিচালক এবং একজন এডিটর

আর্কিটেকচারটি উদ্দেশ্যমূলকভাবে বিভক্ত করা হয়েছে। Claude Code একজন পরিচালক হিসেবে কাজ করে, যা উচ্চ-স্তরের পরিকল্পনা পরিচালনা করে, অস্পষ্ট ক্রিয়েটিভ ব্রিফ ব্যাখ্যা করে এবং পরবর্তীতে কী করা প্রয়োজন তা সিদ্ধান্ত নেয়। এটি “ডেড এয়ার কাট করো এবং একটি টাইটেল কার্ড যোগ করো”-এর মতো অনুরোধকে আলাদা আলাদা টাস্কে বিভক্ত করে এবং পরবর্তী ধাপে যাওয়ার আগে প্রতিটি টাস্ক সফল হয়েছে কি না তা পর্যবেক্ষণ করে।

Gemini Interactions API বিশেষায়িত এডিটিং লজিক পরিচালনা করে। একটি জেনারেলিস্ট মডেলকে ভিডিও এডিটর হিসেবে কাজ করতে বাধ্য করার পরিবর্তে, এই সেটআপটি Google-এর API-কে একজন হাতে-কলমে অপারেটর হিসেবে ব্যবহার করে, যা কাট (cut) কার্যকর করে, টাইমলাইনের অবস্থা মূল্যায়ন করে এবং সুনির্দিষ্ট ফলাফল প্রদান করে। সিস্টেমটি উভয় কাজকে একটি মাত্র মডেলে সংকুচিত করে না। এটি রিজনিং লেয়ারকে (reasoning layer) টুল-ইউজ লেয়ার (tool-use layer) থেকে আলাদা রাখে, যার অর্থ প্রতিটি অংশ তার সেরা কাজে মনোনিবেশ করতে পারে।

এই বিভাজনটি প্রকৃত পোস্ট-প্রোডাকশন টিমগুলো যেভাবে কাজ করে তার প্রতিফলন ঘটায়। একজন পরিচালক গল্পটি জানেন এবং সিদ্ধান্ত নেন। এডিটর সফটওয়্যারটি জানেন এবং পিক্সেলগুলো ম্যানিপুলেট করেন। যখন একটি এজেন্ট একটি মাত্র কনটেক্সট উইন্ডোর (context window) মধ্যে উভয় কাজ করার চেষ্টা করে, তখন এটি প্রায়শই সিনট্যাক্স নিয়ে সমস্যায় পড়ে অথবা কোন ক্লিপটি কোন ট্র্যাকে আছে তা ভুলে যায়। কাজের ভার ভাগ করে দিলে এই সমস্যাটি সমাধান হয়।

কেন মেমরি সবকিছু বদলে দেয়

ভিডিও এডিটিং সহজাতভাবেই stateful। আপনি যদি একটি ক্লিপ চার সেকেন্ড ছোট করেন, তবে পরবর্তী প্রতিটি ট্রানজিশন, অডিও কিউ এবং সাবটাইটেল প্লেসমেন্টকে তার সাথে সামঞ্জস্য রেখে পরিবর্তন করতে হবে। বেশিরভাগ এআই এজেন্ট এখানে হিমশিম খায় কারণ তারা প্রতিটি ধাপকে একটি বিচ্ছিন্ন কুয়েরি (query) হিসেবে বিবেচনা করে। তারা একটি রেসপন্সে একটি কাট করার পরামর্শ দিতে পারে, তারপর পরবর্তী রেসপন্সে একটি ভিন্ন টাইমলাইন হ্যালুসিনেশন (hallucinate) করতে পারে, অথবা এমন একটি সেগমেন্টের জন্য ইফেক্ট সাজেস্ট করতে পারে যা আর নেই।

Gemini Interactions API এই অপারেশনগুলোর মধ্যে স্টেট (state) বজায় রাখার জন্য তৈরি করা হয়েছে। এজেন্ট যখন কাজ করে, তখন এটি প্রজেক্টের প্রকৃত অবস্থা ট্র্যাক করে। এর মানে হলো সিস্টেমটি জানে যে এক্সপোর্ট ব্যর্থ হয়েছে কি না, কোনো ক্লিপ ইতিমধ্যে প্রসেস করা হয়েছে কি না, বা কালার গ্রেড প্রয়োগ করা হয়েছে কি না। যখন Claude পরবর্তী নির্দেশ দেয়, তখন এটি টাইমলাইনের প্রকৃত বর্তমান অবস্থার ওপর ভিত্তি করে কাজ করে, কোনো অনুমানের ওপর নয়।

যারা দেখেছেন একটি এআই আত্মবিশ্বাসের সাথে একটি "সহজ" পাঁচ-ধাপের সমাধানের পরামর্শ দিচ্ছে যা পূর্ববর্তী চারটি ধাপকে সম্পূর্ণ উপেক্ষা করে, তাদের কাছে পারসিস্টেন্ট স্টেটের (persistent state) গুরুত্ব স্পষ্ট। মেমরি ছাড়া সৃজনশীল কাজগুলো দ্রুত মান হারিয়ে ফেলে। একটি stateful ব্যাকএন্ড একটি চ্যাটবটকে এমন একজন অংশগ্রহণকারীতে পরিণত করে যা প্রকৃতপক্ষে একটি কাজ সম্পন্ন করতে পারে।

ওয়ার্কফ্লোটি দেখতে কেমন

একটি বাস্তবসম্মত সিকোয়েন্স কল্পনা করুন। আপনি সিস্টেমটিকে কয়েকটি র (raw) ক্লিপ প্রদান করেন এবং একটি সম্পন্ন সোশ্যাল-মিডিয়া কাট চান। Claude Code প্রথমে অনুরোধটি মূল্যায়ন করে। এটি সিদ্ধান্ত নিতে পারে যে ফুটেজটির স্ট্যাবিলাইজেশন প্রয়োজন, তারপর একটি ভয়েস-ওভার এক্সট্রাকশন, তারপর সাবটাইটেল এবং শেষে একটি ভার্টিক্যাল ক্রপ প্রয়োজন। এটি এগুলোকে একটি পরিকল্পনা হিসেবে সাজায় এবং ক্রমানুসারে প্রতিটি আইটেম কার্যকর করার জন্য Gemini Interactions API কল করা শুরু করে।

Gemini মিডিয়া অপারেশনগুলো সম্পন্ন করে এবং একটি স্ট্রাকচার্ড ফিডব্যাক প্রদান করে। হতে পারে স্ট্যাবিলাইজেশন সফল হয়েছে কিন্তু অডিও সেপারেশনে এমন ওভারল্যাপিং ডায়ালগ পাওয়া গেছে যা সাবটাইটেলকে অনির্ভরযোগ্য করে তোলে। Claude সেই আপডেটটি গ্রহণ করে, পরিকল্পনাটি সংশোধন করে এবং Gemini-কে একটি ভিন্ন পদ্ধতি চেষ্টা করতে বলে, যেমন টেক্সট ওভারলে তৈরি করার আগে স্পিকার সেগমেন্টগুলো শনাক্ত করা। যেহেতু API-টি স্টেট ধরে রাখে, তাই এটি নিশ্চিত করতে পারে যে সাবটাইটেল ট্র্যাকটি নতুনভাবে স্ট্যাবিলাইজ করা ভিডিওর সাথে সামঞ্জস্যপূর্ণ, মূল কাঁপাকাঁপা ফুটেজের সাথে নয়।

চেকলিস্ট সম্পন্ন না হওয়া পর্যন্ত এই লুপ চলতে থাকে। সিস্টেমটি কেবল একবারের জন্য স্ক্রিপ্ট তৈরির পরিবর্তে জটিল ভিডিও কাজের জন্য একটি প্রকৃত ওয়ার্কফ্লো তৈরি করে। যদি কোনো কোডেক সেটিংস অসামঞ্জস্যপূর্ণ হওয়ার কারণে রেন্ডার ব্যর্থ হয়, তবে সেই ত্রুটিটি Claude-এর কাছে ফিরে আসে, যা প্যারামিটারগুলো সামঞ্জস্য করতে পারে এবং পুনরায় চেষ্টা করতে পারে। এজেন্ট প্রথম বাধার পরেই প্রজেক্টটি ছেড়ে দেয় না।

বিভিন্ন শক্তির জন্য বিভিন্ন মডেল ব্যবহার করা

এই প্রকল্পটি AI ইঞ্জিনিয়ারিংয়ের একটি বৃহত্তর ডিজাইন প্যাটার্নকেও তুলে ধরে: একটি মাত্র মডেল দিয়ে সবকিছু করানোর চেষ্টা বন্ধ করুন। Claude Code অস্পষ্ট নির্দেশনার মাধ্যমে রিজনিং করা, ব্রাঞ্চিং লজিক পরিচালনা এবং দীর্ঘ সেশনের কথোপকথনের প্রেক্ষাপট (context) বজায় রাখতে পারদর্শী। Gemini Interactions API, বিশেষ করে রিচ মিডিয়া এবং টুলের ব্যবহারের ক্ষেত্রে, গভীর মাল্টিমোডাল সক্ষমতা এবং স্টেটফুল এক্সিকিউশন নিয়ে আসে। এদেরকে একত্রে যুক্ত করার মাধ্যমে, আপনি প্রতিটি মডেলের সীমাবদ্ধতা কাটিয়ে উঠতে পারেন।

একটি রিজনিং মডেল যা কখনও নন-লিনিয়ার এডিটর ব্যবহার করেনি, সেটিও একটি চমৎকার কাট (cut) পরিচালনা করতে পারে যদি তার কাছে এমন একটি এক্সিকিউশন লেয়ারের অ্যাক্সেস থাকে যা কোডেক (codec), কীফ্রেম (keyframe) এবং ট্র্যাক হায়ারার্কি (track hierarchy) বোঝে। বিপরীতে, একটি মিডিয়া-দক্ষ API-এর বিমূর্ত সৃজনশীল নোটগুলো বিশ্লেষণ করার প্রয়োজন নেই যদি একটি প্ল্যানার মডেল সেগুলোকে ইতিমধ্যে সুনির্দিষ্ট ধাপে রূপান্তরিত করে ফেলে। একজনের শক্তি অন্যজনের দুর্বলতা পূরণ করে।

এটি কেবল তাত্ত্বিক নয়। এই সেটআপটি স্পষ্টভাবে দেখায় যে কীভাবে বিভিন্ন AI মডেল মিলে সৃজনশীল ভিডিও এডিটিংয়ের মতো একটি কাজের ধরণ সম্পন্ন করে, যা একক-মডেল এজেন্টরা প্রায়শই শেষ করতে ব্যর্থ হয়। এজেন্টিক সিস্টেম (agentic systems) তৈরি করা ডেভেলপারদের জন্য এই শিক্ষাটি উপেক্ষা করা কঠিন। আপনার অর্কেস্ট্রেশন লেয়ারকে স্পেশালিস্ট হতে বলা বন্ধ করুন, এবং আপনার স্পেশালিস্টকে স্ট্র্যাটেজিস্ট হতে বলা বন্ধ করুন।

নির্মাতাদের যা শেখা উচিত

এই প্যাটার্নটি কার্যকর হিসেবে দেখার জন্য আপনাকে ভিডিও স্টুডিও চালানোর প্রয়োজন নেই। পরিবর্তনশীল পরিবেশে মাল্টি-স্টেপ কাজের প্রয়োজন হয় এমন যেকোনো ডোমেইন—যেমন CAD ওয়ার্কফ্লো, অডিও ইঞ্জিনিয়ারিং, ডেটা ভিজ্যুয়ালাইজেশন বা সায়েন্টিফিক কম্পিউটিং—একই কাঠামো ব্যবহার করতে পারে। একটি মডেল স্থায়ী প্রজেক্ট ম্যানেজার হিসেবে কাজ করে। একটি বিশেষায়িত API বা টুল ডোমেইন-নির্দিষ্ট সফটওয়্যারের ভেতরে স্টেটফুল অপারেশনগুলো পরিচালনা করে।

ডেভেলপারের কাজ মডেলটি সবকিছু মনে রাখবে এই আশায় বিশাল প্রম্পট লেখা থেকে সরে এসে রিজনিং এবং এক্সিকিউশনের মধ্যে পরিচ্ছন্ন হ্যান্ডঅফ (handoff) ডিজাইন করার দিকে পরিবর্তিত হয়। স্টেট ম্যানেজমেন্ট (State management) একটি গুরুত্বপূর্ণ অংশে পরিণত হয়। আপনার এজেন্ট যদি তার শেষ কাজের পর কী পরিবর্তন হয়েছে তা দেখতে না পারে, তবে সে নির্ভরযোগ্যভাবে পুনরায় কাজ করতে পারবে না।

এই ইন্টিগ্রেশন কীভাবে কাজ করে, যার মধ্যে নির্দিষ্ট API ইন্টারঅ্যাকশন এবং প্রজেক্ট স্ট্রাকচার অন্তর্ভুক্ত, তার সম্পূর্ণ বিশ্লেষণ আপনি dev.to-এর বিস্তারিত পোস্টে পড়তে পারেন।

মূল শিক্ষা

AI দিয়ে জটিল সৃজনশীল কাজ সমাধান করার জন্য এমন একটি একক, নিখুঁত মডেলের জন্য অপেক্ষা করার প্রয়োজন নেই যা একসাথে সবকিছু পরিকল্পনা, মনে রাখা এবং কার্যকর করতে পারে। এর জন্য এজেন্টের এমন একটি মেমরি প্রয়োজন যা ধাপগুলোর মধ্যে টিকে থাকে এবং একজন স্পেশালিস্ট প্রয়োজন যাকে সে প্রকৃতপক্ষে কাজ অর্পণ (delegate) করতে পারে। চিন্তাবিদকে চিন্তা করতে দিন। এডিটরকে এডিট করতে দিন।