Snowflake-এর নতুন Ontology Stack Builder একটি নলেজ-গ্রাফ-ভিত্তিক (knowledge-graph-backed) ডেটা মডেল তৈরির সময় কয়েক মাস থেকে কমিয়ে মাত্র এক ঘণ্টায় নিয়ে এসেছে, যা Large Language Models (LLMs)-কে নির্ভুলভাবে প্রশ্নের উত্তর দেওয়ার জন্য প্রয়োজনীয় বিজনেস কনটেক্সট (business context) প্রদান করে।

যেসব এন্টারপ্রাইজ তাদের ডেটা ওয়্যারহাউসের ওপর জেনারেটিভ AI (generative AI) প্রয়োগ করার চেষ্টা করেছে, তারা বারবার একটি বাধার সম্মুখীন হচ্ছে: মডেলগুলো কেবল রো (row) এবং কলামের নাম দেখতে পায়, কিন্তু বাস্তব জগতের সত্তাগুলো (entities)—যেমন মানুষ, টিম বা চুক্তি—দেখতে পায় না, যা মূলত সিদ্ধান্ত গ্রহণে ভূমিকা রাখে। একটি সিম্যান্টিক ব্রিজের (semantic bridge) অভাবে, AI-জেনারেটেড SQL অস্পষ্ট হয়ে পড়ে, লজিক্যাল ত্রুটি দেখা দেয় এবং কনফিডেন্স স্কোর বিভ্রান্তিকর হয়ে ওঠে।

কেন র (raw) টেবিলগুলো LLM-কে বিভ্রান্ত করে

একটি সাধারণ ডেটা ওয়্যারহাউস ফরেন কী (foreign keys) দ্বারা সংযুক্ত নরমালাইজড টেবিলে তথ্য সংরক্ষণ করে। কলামের নামগুলো প্রায়ই সংক্ষিপ্ত রূপ বা অভ্যন্তরীণ পরিভাষা (jargon) হয়ে থাকে। ওয়েব টেক্সটের ওপর প্রশিক্ষিত একটি LLM ব্যবসায়িক প্রেক্ষাপটে “EMP_ID” বা “CNTRCT_AMT”-এর মতো শব্দ কখনও দেখেনি। তাই যখন একে জিজ্ঞাসা করা হয়, “গত প্রান্তিকে কোন সেলস রিপ্রেজেন্টেটিভরা সবচেয়ে বড় চুক্তিগুলো সম্পন্ন করেছেন?”, তখন তাকে প্রথমে প্রতিটি ফিল্ডের অর্থ অনুমান করতে হয় এবং তারপর বেশ কয়েকটি টেবিলের মধ্যে একটি সঠিক জয়েন (join) তৈরি করতে হয়। এর ফলে অনুমানের একটি ধারাবাহিকতা তৈরি হয়, যা দেখতে সঠিক মনে হলেও আসলে ভুল উত্তর দিতে পারে।

ব্লুপ্রিন্ট হিসেবে অনটোলজি (Ontology)

একটি অনটোলজি বিভিন্ন ক্লাস (যেমন: Person, Organization, Contract) এবং তাদের মধ্যে বিদ্যমান সম্পর্কগুলো (যেমন: Person works for Organization) সংজ্ঞায়িত করে। সেই অনটোলজি থেকে তৈরি করা নলেজ গ্রাফ সুনির্দিষ্ট তথ্য সংরক্ষণ করে—যেমন John Doe works for Acme Inc., একটি চুক্তি Acme Inc.-এর অন্তর্ভুক্ত—এবং এটি AI-কে র (raw) কলাম আইডেন্টিফায়ারের পরিবর্তে উচ্চ-স্তরের ধারণাগুলোর ভিত্তিতে যুক্তি প্রদান করতে সাহায্য করে।

Snowflake-এর পাঁচ-স্তরীয় পদ্ধতি

একটি ওয়্যারহাউসকে অনটোলজি-চালিত সিস্টেমে রূপান্তর করার জন্য Snowflake-এর আর্কিটেকচারে পাঁচটি স্তর রয়েছে:

  • Layer 1: Physical storage – দুটি কোর টেবিল নোড (entities) এবং এজ (relationships) ধারণ করে। নতুন কোনো এনটিটি টাইপ যোগ করতে স্কিমা পরিবর্তনের প্রয়োজন হয় না, কেবল নতুন রো যোগ করলেই হয়।
  • Layer 2: Metadata configuration – সম্পর্কগুলো হার্ড-কোডেড SQL-এর পরিবর্তে কনফিগারেশন ফাইলের মাধ্যমে ঘোষণা করা হয়, যা মডেলটিকে পোর্টেবল এবং রক্ষণাবেক্ষণ করা সহজ করে তোলে।
  • Layer 3: Automatic compiler – কম্পাইলার মেটাডেটা পড়ে এবং ইউনিফাইড ভিউ (unified views) তৈরি করে যা তাৎক্ষণিকভাবে সুনির্দিষ্ট টেবিলগুলোকে বিমূর্ত ধারণার (abstract concepts) সাথে ম্যাপ করে।
  • Layer 4: Purpose-built models – একটি মডেল দ্রুত তথ্য পুনরুদ্ধারের (fact retrieval) জন্য অপ্টিমাইজ করা হয়, অন্যটি গ্রাফের মাধ্যমে বিমূর্ত যুক্তিতে সহায়তা করে এবং তৃতীয়টি গভর্নেন্স ও পারমিশন নিশ্চিত করে।
  • Layer 5: Cortex agent layer – একটি ইন্টেলিজেন্ট রাউটিং ইঞ্জিন ব্যবহারকারীর উদ্দেশ্যের ওপর ভিত্তি করে সিদ্ধান্ত নেয় যে কোন আন্ডারলাইং মডেলটি কুয়েরি করতে হবে।

এই স্তরগুলো হাতে তৈরি করতে সাধারণত ডেটা-মডেলিং, স্কিমা অ্যানালাইসিস এবং কাস্টম কোডের কারণে কয়েক মাস সময় লেগে যায়। Snowflake-এর Ontology Stack Builder এই কাজের বেশিরভাগ অংশই স্বয়ংক্রিয় করে দেয়।

Stack Builder কীভাবে কাজ করে

এই টুলটি একটি ইন্টারেক্টিভ ওয়ার্কফ্লো চালু করে যা বিদ্যমান Snowflake স্কিমা স্ক্যান করে, সম্ভাব্য এনটিটি টাইপ এবং সম্পর্কের পরামর্শ দেয় এবং অ্যানালিস্টদের একটি ভিজ্যুয়াল এডিটরের মাধ্যমে সেগুলো নিশ্চিত বা পরিবর্তন করার সুযোগ দেয়। একবার অনটোলজি সংজ্ঞায়িত হয়ে গেলে, Builder নোড/এজ টেবিলগুলো তৈরি করে, মেটাডেটা পূরণ করে এবং ইউনিফাইড ভিউ তৈরি করতে স্বয়ংক্রিয় কম্পাইলার চালু করে। একটি মাঝারি আকারের ওয়্যারহাউসের জন্য পুরো পাইপলাইনটি এক ঘণ্টার কম সময়ে তৈরি করা সম্ভব।

এন্টারপ্রাইজগুলো কী লাভবান হবে

  • দ্রুততর AI ইন্টিগ্রেশন – টিমগুলো র (raw) SQL জেনারেশনের সাথে লড়াই করার পরিবর্তে LLM-গুলোকে একটি সিম্যান্টিক্যালি সমৃদ্ধ লেয়ারে যুক্ত করতে পারে।
  • রক্ষণাবেক্ষণ হ্রাস – নতুন ডেটা সোর্স যোগ করতে কেবল নোড/এজ টেবিলে নতুন রো ইনসার্ট করলেই হয়; মেটাডেটা এবং কম্পাইল্ড ভিউগুলো স্বয়ংক্রিয়ভাবে আপডেট হয়ে যায়।
  • বিল্ট-ইন গভর্নেন্স – ডেডিকেটেড পারমিশন মডেল নিশ্চিত করে যে কে কোন এনটিটি দেখতে পারবে, যা নিয়ন্ত্রিত (regulated) শিল্পগুলোর জন্য একটি অত্যন্ত গুরুত্বপূর্ণ বৈশিষ্ট্য।

সারসংক্ষেপ

কয়েক মাসব্যাপী ম্যানুয়াল মডেলিং প্রচেষ্টাকে এক ঘণ্টার ওয়ার্কফ্লোতে রূপান্তর করার মাধ্যমে, Snowflake এন্টারপ্রাইজগুলোকে LLM-এর জন্য প্রয়োজনীয় বিজনেস সিম্যান্টিকস প্রদানের একটি বাস্তবসম্মত পথ দেখায়। এর ফলাফল হলো এমন একটি AI যা ব্যবহারকারীর উদ্দেশ্য বুঝতে সক্ষম।