GyaanSetu AI

AI, machine learning and LLM insights.

1599 articlesDeep, practical knowledge

Google Gemma-4 31B AWS Inferentia-তে টোকেন ম্যাচিংয়ে সফল হলেও দিচ্ছে অর্থহীন উত্তর

Inferentia2 INF2.24xlarge ঠিক একইভাবে CPU রেফারেন্সের টোকেন স্ট্রিমটি পুনরুৎপাদন করেছে, কিন্তু উভয় ক্ষেত্রেই চ্যাট টেমপ্লেট এবং টার্ন মার্কার বিহীন একটি ত্রুটিপূর্ণ প্রম্পট দেওয়া হয়েছিল, যার ফলে Gemma-4 অর্থহীন কথার এক অন্তহীন চক্রে পড়ে যায়। হার্ডওয়্যারটি কেবল রেফারেন্স কোডের একটি ত্রুটিকেই প্রতিফলিত করেছে।

AI · 3 min read

Solo Researcher Cuts LLM Agent Bill 31% to $651 by Logging Every Token

By adding a PostgreSQL logging layer that captured model name, token count, task type, and per-call cost, the researcher identified that raw SEC search results were inflating prompts. Summarizing those results and routing simple checks to a cheaper model drove the 31% savings and nudged accuracy up

AI · 3 min read

Upper90 জেনারেল কম্পিউটে ৪০০ মিলিয়ন ডলার বিনিয়োগ করছে, শুধুমাত্র ইনফারেন্স-ভিত্তিক চিপের ওপর বাজি ধরছে

এই ঋণের জামানত হিসেবে SambaNova-র SN50 ইনফারেন্স চিপ ব্যবহার করা হয়েছে, যা একটি অনন্য সম্পদ শ্রেণী; এটি প্রথাগত GPU ফার্মের তুলনায় ১৬ গুণ পর্যন্ত দ্রুত টোকেন প্রসেসিং, কম বিদ্যুৎ খরচ এবং সহজতর কুলিং ব্যবস্থার প্রতিশ্রুতি দেয়।

AI · 3 min read

লিনাস টরভাল্ডস সমালোচকদের একটি বিকল্প দিয়েছেন: লিনাক্স ফর্ক করুন অথবা এআই গ্রহণ করুন

টরভাল্ডস মেইলিং লিস্টে জানিয়েছেন যে, নতুন Sashiko রিভিউয়ারের মতো এআই (AI) টুলের বিরোধী যে কেউ চাইলে সহজেই কার্নেলটি ফর্ক করতে পারেন। এর মাধ্যমে তিনি তাঁর এই মতবাদকেই জোরালো করেছেন যে, প্রযুক্তিগত শ্রেষ্ঠত্ব যেকোনো আদর্শিক বাধার চেয়ে বড়।

AI · 2 min read

AA-Briefcase বেঞ্চমার্কে Moonshot-এর Kimi K3, GPT-5.6-কে হারিয়ে ১,৫২৭ স্কোর করেছে (বনাম ১,৪৯৫)

Moonshot AI-এর Kimi K3, একটি ২.৮ ট্রিলিয়ন প্যারামিটারের ওপেন-ওয়েট মডেল, বাস্তবধর্মী AA-Briefcase বেঞ্চমার্কে GPT-5.6-কে ছাড়িয়ে গেছে। এটি এখন API-এর মাধ্যমে পাওয়া যাচ্ছে এবং এর ওয়েটস ২৭ জুলাই জনসমক্ষে প্রকাশের কথা রয়েছে।

AI · 2 min read

Claude Code, Cursor 2.0 এবং OpenAI Codex IDE-গুলোকে ফুল-স্ট্যাক কন্ট্রোল রুমে পরিণত করছে

সর্বশেষ সংস্করণগুলোতে টাস্ক অর্কেস্ট্রেশন, অ্যাপ্রুভাল ওয়ার্কফ্লো, টেস্টিং রিগস এবং UI-সচেতন ব্রাউজিংয়ের সুবিধা যুক্ত করা হয়েছে, যার ফলে একটি মাত্র কনসোল থেকেই AI টিকিট নির্বাচন করা, স্বয়ংক্রিয় এজেন্ট চালানো, মানুষের অনুমোদন নেওয়া এবং ভিজ্যুয়াল প্রিভিউ রিলিজ করার মতো কাজগুলো করতে পারে।

AI · 3 min read

মিশিগান ভ্যালিডেশনে এপিকের সেপসিস অ্যালার্ট দুই-তৃতীয়াংশ কেস শনাক্ত করতে ব্যর্থ হয়েছে

সেই সেপসিস মডেল যা ডাক্তারকে প্রেডিক্ট করতে শিখেছিল; ২০২১ সালে, মিশিগান মেডিসিন এপিক সেপসিস মডেলটি পরীক্ষা করেছে। তারা ৩৮,৪৫৫টি হাসপাতালে ভর্তির ঘটনা পর্যালোচনা করেছে। এপিক দাবি করেছিল যে এর নির্ভুলতা ছিল উচ্চ...

AI · 4 min read

iPhone 17 Pro Max-এ ১১ টোকেন/সেকেন্ড গতিতে চলছে 1-Bit Bonsai 27B, মডেলের আকার কমেছে ১৪ গুণ

PrismML-এর Bonsai 27B একটি ৫৪.৭ GB ফুল-প্রিসিশন মডেল থেকে কমিয়ে মাত্র ৩.৯ GB-এর একটি 1-bit ফাইলে রূপান্তরিত হয়েছে, যা এর ৮৯.৫% গুণমান বজায় রেখে একটি ফ্ল্যাগশিপ আইফোনে ব্যবহার করা সম্ভব। এই দাবিটি অ্যাপলের MLX স্ট্যাকের ওপর ভিত্তি করে করা হয়েছে এবং এটি প্রতি সেকেন্ডে প্রায় ১১টি টোকেন প্রদান করে, তবে মেমরি, তাপ এবং ব্যাটারির ওপর এর প্রভাব এখনও পরিমাপ করা হয়নি।

AI · 3 min read

OpenAI-এর GPT-Red GPT-5.6-এর ব্যর্থতা ছয় গুণ কমিয়ে দিয়েছে, কিন্তু ছোট দলগুলোর জন্য কোনো ফ্রি টুল নেই

OpenAI-এর অভ্যন্তরীণ GPT-Red মডেলটি GPT-5.6 Sol লাইনের ব্যর্থতা ছয় গুণ কমিয়ে এনেছে, তবে গবেষণা পত্রে শুধুমাত্র তাত্ত্বিক ধারণা দেওয়া হয়েছে—কোনো ডাউনলোডযোগ্য হারনেস (harness) দেওয়া হয়নি—ফলে ছোট দলগুলোকে তাদের নিজস্ব ডিটারমিনিস্টিক টেস্ট তৈরি করে নিতে হচ্ছে।

AI · 4 min read

Vercel AI SDK 7 টুলসগুলোকে শুধুমাত্র তাদের ঘোষিত সিক্রেটস ব্যবহারের মধ্যে সীমাবদ্ধ রাখছে

SDK এখন প্রতিটি টুলের জন্য একটি Zod-ভিত্তিক কনটেক্সট স্কিমা প্রদান করা বাধ্যতামূলক করেছে, এবং রানটাইমে Vercel যাচাই করে যে শুধুমাত্র ঘোষিত ফিল্ডগুলোই পাস করা হয়েছে কিনা; কোনো অতিরিক্ত বা অনুপস্থিত কী (key) পাওয়া গেলে এটি এক্সিকিউশন বন্ধ করে দেয়।

AI · 3 min read

মাসে ৫-১০ মিলিয়ন টোকেন ব্যবহারের পর সেলফ-হোস্টিং এপিআই খরচের চেয়ে সাশ্রয়ী হয়

নিজস্ব LLM চালানো বনাম API ব্যবহারের প্রকৃত খরচ। ওপেন ওয়েটস বিনামূল্যে পাওয়া যায়, কিন্তু সেগুলো চালানো বিনামূল্যে নয়। অনেকেই মনে করেন একটি ওপেন মডেল সেলফ-হোস্ট করলে টাকা বাঁচে। এটি একটি ভুল ধারণা। আপনাকে অবশ্যই দেখতে হবে...

AI · 3 min read

Deep Interaction-এর মাধ্যমে LLM-এর ত্রুটি সংশোধনের সাফল্য ২৫% বৃদ্ধি এবং টোকেন ব্যবহার ৪০% হ্রাস

একটি মডেলের আউটপুটকে এডিটেবল টেক্সট হিসেবে বিবেচনা করার মাধ্যমে, Deep Interaction ডেভেলপারদের একটি ভুল যুক্তিমূলক ধাপ (reasoning step) চিহ্নিত করতে, সেটি পুনরায় লিখতে এবং একটি সংক্ষিপ্ত প্রম্পট পুনরায় প্রদান করতে সাহায্য করে—যার ফলে STEM বেঞ্চমার্কে সংশোধনের হার ২৫% বৃদ্ধি এবং টোকেন ব্যবহার ৪০% হ্রাস পেয়েছে।

AI · 2 min read

AWS Agent Toolkit OpenSearch সেটআপের সময় কমিয়ে দিলেও NextGen ভেক্টর কনফিগারেশনে হিমশিম খাচ্ছে

নতুন amazon-opensearch-service স্কিলটি পলিসি সিকোয়েন্সিং এবং ইনস্ট্যান্স সাইজিংয়ের কাজ দ্রুত করে দিলেও, Serverless NextGen-এ ভেক্টর সার্চ কনফিগার করার ক্ষেত্রে এটি ডিফল্টভাবে ক্লাসিক FAISS সেটিংস ব্যবহার করে ফেলে, যার ফলে ডিপ্লয়মেন্টে ব্যর্থতা দেখা দিচ্ছে।

AI · 4 min read

সকালে Inkling (975B) লঞ্চ হওয়ার মাত্র ১৬ ঘণ্টা পর Moonshot AI নিয়ে এলো 2.8T Kimi K3

এই দুটি রিলিজ ওপেন-ওয়েট মডেলগুলোকে প্রান্তিক প্রকল্প থেকে মূলধারার AI-তে নিয়ে এসেছে, যা কোম্পানিগুলোকে Apache 2.0 লাইসেন্সের অধীনে অন-প্রিমিসেস বিশাল মডেল চালানোর সুযোগ দিচ্ছে এবং কোডিংয়ের ক্ষেত্রে ক্লোজড-সোর্স মডেলের পারফরম্যান্সকেও টেক্কা দিচ্ছে।

AI · 3 min read

নতুন ওয়ার্কফ্লো-ড্রিফট ডিটেক্টর অ্যাপ আপডেটের পর বটগুলোর ব্যর্থতা রোধ করবে

এই ফ্রেমওয়ার্কটি পাঁচটি ড্রিফট বিভাগ—UI, API, ডেটা, পারমিশন এবং পলিসি—সংজ্ঞায়িত করে। এটি একটি লাইটওয়েট কন্ট্রাক্ট ম্যাপ এবং প্রি-ফ্লাইট স্ক্যান ব্যবহার করে একটি অটোনোমাস এজেন্ট চলার আগেই অমিলগুলো শনাক্ত করে, যা নীরব ব্যর্থতা এবং ব্যয়বহুল পুনর্কাজ রোধ করতে সাহায্য করে।

AI · 4 min read

Anthropic যুক্ত করেছে MCP কানেক্টর, যা Claude-এর কোড স্নিপেটগুলোকে সরাসরি লাইভ অ্যাপে রূপান্তরিত করবে

Model Context Protocol কানেক্টরের মাধ্যমে, Claude-এর তৈরি কোড এখন সরাসরি চ্যাট থেকেই ডাটাবেস, ক্লাউড সার্ভিস বা Slack কল করতে পারবে। এটি কপি-পেস্ট করার ঝামেলা দূর করে ডেভেলপারদের তাৎক্ষণিকভাবে রিয়েল ডেটা দিয়ে পরীক্ষা করার সুযোগ দিচ্ছে।

AI · 2 min read

একদিনে ১,৮৫৮টি টুল কল করেও কোনো ফলাফল দিতে পারল না এআই এজেন্ট

যাচাইকরণ ধাপের অভাবে এজেন্টটি তার 'do' (কাজ করার) ধাপটি এড়িয়ে যায়, ফলে কোনো আসল টুল ব্যবহার না করেই এটি ১,৮৫৮টি অভ্যন্তরীণ প্রতিফলন তৈরি করতে পুরো একটি দিন ব্যয় করে ফেলে। এটি একটি 'সেলফ-লুপ ট্র্যাপ' বা স্ব-চক্রীয় ফাঁদ উন্মোচন করেছে, যা যেকোনো টুল-চালিত অ্যাসিস্ট্যান্টকে অচল করে দিতে পারে।

AI · 2 min read

Moonshot AI-এর Kimi K3 সস্তা API-এর প্রতিশ্রুতি দিলেও, এর আউটপুট খরচ প্রতিযোগীদের তুলনায় দ্বিগুণ

Moonshot-এর প্রচার অনুযায়ী এটি একটি ২.৮ ট্রিলিয়ন প্যারামিটার বিশিষ্ট মডেল এবং এর পার-টোকেন রেটও কম, তবে মডেলটির Mixture-of-Experts ডিজাইন এবং অতিরিক্ত শব্দ ব্যবহারের প্রবণতার কারণে আউটপুট ১৩০ মিলিয়ন টোকেন পর্যন্ত পৌঁছে যায়—যা প্রতিযোগিতামূলক মডেলগুলোর তুলনায় দ্বিগুণেরও বেশি—ফলে বাস্তবে খরচ অনেক বেড়ে যাচ্ছে।

AI · 3 min read

LLM-গুলো আত্ম-পরিচয় শনাক্তকরণ পরীক্ষায় ব্যর্থ হচ্ছে, যা ব্যবহারের ক্ষেত্রে নিরাপত্তার উদ্বেগ বাড়িয়ে দিচ্ছে

নতুন এই পরিস্থিতি-সচেতনতা (situational-awareness) বেঞ্চমার্ক মডেলগুলোকে “আপনি কি একটি এআই?”-এর মতো মেটা-প্রশ্নের উত্তর দিতে এবং কথোপকথন পরিবর্তনের সাথে সাথে তাদের প্রতিক্রিয়া সমন্বয় করতে বাধ্য করে। এটি প্রকাশ করে যে, অনেক উচ্চ-স্কোরিং LLM এখনও নিজেকে মানুষ বলে দাবি করে অথবা তাদের সীমাবদ্ধতা লুকিয়ে রাখে।

AI · 2 min read