کچھ نہ سمجھنے سے لے کر ایک RAG ایپ بنانے تک کا سفر
میں نے کل کا پورا دن اپنے NLP نوٹس کے 31 صفحات پڑھنے میں گزارا۔
مجھے کچھ سمجھ نہیں آیا۔
مجھے لگا کہ مسئلہ مجھ میں ہے۔ ایسا نہیں تھا۔ مسئلہ میرا طریقہ کار تھا۔ نوٹس پڑھنا سیکھنا نہیں ہے۔ میرے پاس ایسے نوٹس تھے جو کسی ماہر کے لیے تھے، کسی مبتدی (beginner) کے لیے نہیں۔
میں نے اپنا طریقہ کار بدل لیا۔ میں نے پڑھنا چھوڑ دیا۔ اس کے بجائے، میں نے سوالات پوچھنا شروع کیے۔ میں نے سادہ مثالیں استعمال کیں۔ جب تک میں تصور (concept) کو سمجھ نہ لیتا، میں نے تکنیکی اصطلاحات استعمال کرنے سے انکار کر دیا۔
دن کے اختتام تک، میں نے ایک RAG ایپ بنا لی۔ یہاں بتایا گیا ہے کہ میں نے NLP کے چار ستون کیسے سیکھے۔
- Bag of Words کمپیوٹر صرف ریاضی سمجھتے ہیں۔ ٹیکسٹ کو پروسیس کرنے کے لیے، آپ کو الفاظ کو نمبروں میں تبدیل کرنا ہوگا۔
تصور کریں کہ آپ ای میلز کو اسپیم (spam) یا غیر اسپیم میں تقسیم کرنا چاہتے ہیں۔ آپ اپنی ای میلز میں موجود ہر لفظ کی فہرست بناتے ہیں۔ آپ گنتے ہیں کہ ہر لفظ کتنی بار آیا ہے۔ یہ ایک ای میل کو نمبروں کی ایک قطار میں بدل دیتا ہے۔
اس میں نقص کیا ہے؟ یہ الفاظ کی ترتیب کو نظر انداز کر دیتا ہے۔ اس طریقے کے لیے "Dog bites man" اور "man bites dog" بالکل ایک جیسے نظر آتے ہیں۔
- TF-IDF Bag of Words ہر لفظ کے ساتھ ایک جیسا سلوک کرتا ہے۔ لیکن "the" اتنا اہم نہیں ہے جتنا کہ "viagra"۔
TF-IDF دو اصول استعمال کرتا ہے:
- Term Frequency (TF): ایک ای میل میں کوئی لفظ کتنی بار آتا ہے۔
- Inverse Document Frequency (IDF): تمام ای میلز میں کوئی لفظ کتنا نایاب ہے۔
یہ ریاضی "the" جیسے غیر ضروری الفاظ کے اثر کو کم کر دیتی ہے اور اہم، نایاب الفاظ کو نمایاں کرتی ہے۔
- Embeddings Bag of Words سمجھتا ہے کہ "money" اور "cash" کا آپس میں کوئی تعلق نہیں ہے۔ Embeddings اس مسئلے کو حل کرتی ہیں۔
ایک بہت بڑے نقشے کا تصور کریں۔ اس نقشے پر ہر لفظ ایک نقطہ ہے۔ ملتے جلتے معنی والے الفاظ ایک دوسرے کے قریب ہوتے ہیں۔ "Money" اور "cash" پڑوسی ہیں۔ "Banana" بہت دور ہے۔
کمپیوٹر ان مقامات کو اس بنیاد پر سیکھتا ہے کہ ایک لفظ کن دیگر الفاظ کے ساتھ استعمال ہو رہا ہے۔ اگر "money" اور "cash" دونوں "bank" اور "pay" کے قریب نظر آتے ہیں، تو کمپیوٹر انہیں ایک دوسرے کے قریب رکھ دیتا ہے۔
- RAG (Retrieval-Augmented Generation) یہ وہ جگہ ہے جہاں سب کچھ ایک ساتھ مل جاتا ہے۔
اگر آپ کی فائلوں میں موجود ہر نوٹ نقشے پر ایک نقطہ ہے، تو آپ قریبی نکات تلاش کر کے جوابات پا سکتے ہیں۔
RAG کا عمل:
- سوال کو ایک نقطہ میں تبدیل کریں۔
- نقشے پر قریبی نوٹ-نکات تلاش کریں۔
- وہ نوٹس AI کو دے دیں۔
- AI کو حکم دیں کہ وہ صرف ان نوٹس کو استعمال کرتے ہوئے جواب دے۔
یہ AI کو اندازہ لگانے یا جھوٹ بولنے سے روکتا ہے۔ یہ AI کو آپ کے اصل ڈیٹا کو استعمال کرنے پر مجبور کرتا ہے۔
میں نے ان مراحل کو استعمال کرتے ہوئے اپنی ایپ، Synapse، بنائی۔ میں ایک ہی دن میں صفر سے ایک کام کرنے والے سسٹم تک پہنچ گیا۔
سبق: پڑھنا بند کریں۔ پوچھنا شروع کریں۔ اگر آپ کسی تصور کو ایک سادہ مثال کے ذریعے نہیں سمجھا سکتے، تو اس کا مطلب ہے کہ آپ اسے ابھی تک نہیں جانتے۔ یہ ثابت کرنے کے لیے کہ آپ سمجھ گئے ہیں، کچھ بنائیں۔
ماخذ: https://dev.to/sabimantock/from-i-understood-nothing-to-building-a-rag-app-4033
اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi