میرا RAG ایپ کیوں ہالوسینیٹ (hallucinate) کرتا رہا اور میں نے اسے کیسے ٹھیک کیا
چند ماہ قبل، میں نے اپنے RAG سپورٹ بوٹ کا ڈیمو دیا۔ اس نے ایک ساتھی کو بتایا کہ ہماری ریفنڈ پالیسی 30 دن کی ہے۔ ہماری اصل پالیسی 14 دن کی ہے۔ بوٹ نے ہچکچاہٹ نہیں دکھائی۔ اس نے یہ نہیں کہا کہ وہ غیر یقینی ہے۔ اس نے مکمل اعتماد کے ساتھ ایک جواب خود سے بنا لیا۔
RAG کو ہالوسینیشنز (hallucinations) کو کم کرنا چاہیے، لیکن میرے سیٹ اپ نے صرف انہیں ایک جگہ سے دوسری جگہ منتقل کر دیا۔ میں نے اس سسٹم کی ڈیبگنگ کے دوران پانچ اسباق سیکھے۔
- چنکس (chunks) کے لیے مقررہ کیریکٹر کاؤنٹ کا استعمال بند کریں میں نے تھوڑے سے اوورلیپ کے ساتھ 1000 کیریکٹر کے چنکس استعمال کیے۔ اس سے مسائل پیدا ہوئے۔ ایک چنک اکثر شپنگ کے قواعد کو واپسی (return) کے قواعد کے ساتھ ملا دیتا تھا۔ ماڈل نے ان مختلف حصوں کو ملا کر ایک غلط جواب دے دیا۔ حل: میں نے سیمنٹک چنکنگ (semantic chunk