𝗪𝗵𝘆 𝗧𝘄𝗶𝗼 𝗖𝗵𝗼𝘀𝗲 𝗩𝗲𝗿𝘁𝗲𝘅 𝗔𝗜 𝗦𝗲𝗮𝗿𝗰𝗵 𝗼𝘃𝗲𝗿 𝗽𝗴𝘃𝗲𝗰𝘁𝗼𝗿

ہم نے Twio میں اپنا پہلا RAG سسٹم pgvector کا استعمال کرتے ہوئے بنایا۔ یہ ایک تیز رفتار انتخاب تھا۔ ہمارا ڈیٹا PostgreSQL میں موجود تھا۔ وہاں embeddings شامل کرنا آسان تھا۔

جیسے جیسے ہم نے وسعت اختیار کی، ہمارا مسئلہ بدل گیا۔ اب ہم یہ نہیں پوچھتے تھے کہ vectors کو کیسے اسٹور کیا جائے۔ ہم یہ پوچھتے تھے کہ ہزاروں بکھرے ہوئے بروکر دستاویزات، ای میلز اور اٹیچمنٹس کو کیسے سمجھا جائے۔

Twio لون بروکرز کو خدمات فراہم کرتا ہے۔ ایک ہی کیس میں شامل ہوتے ہیں: • ای میل تھریڈز • پے سلپس اور بینک اسٹیٹمنٹس • لون فارمز اور لینڈر کے قوانین • ہاتھ سے لکھے ہوئے نوٹس

AI کو اس طرح کے سوالات کے جوابات دینے ہوں گے: • کس ای میل میں گمشدہ ضرورت کا ذکر کیا گیا تھا؟ • کیا یہ بینک اسٹیٹمنٹ آمدنی کی تصدیق کرتی ہے؟ • اس قرض لینے والے کے لیے تمام دستاویزات کا خلاصہ کریں۔

اگر retrieval کمزور ہے، تو جواب بھی کمزور ہوگا۔ اگر parsing غلط ہے، تو ماڈل غلط شواہد دیکھے گا۔ RAG ہمارے پروڈکٹ کی یادداشت ہے۔

pgvector ہمارے پہلے ورژن کے لیے اچھا رہا کیونکہ: • اس کے لیے کسی نئے انفراسٹرکچر کی ضرورت نہیں تھی۔ • اس کی لاگت کم تھی۔ • اس سے SQL debugging آسان تھی۔ • اسے تیزی سے لانچ کیا جا سکتا تھا۔

لیکن pgvector ایک RAG پائپ لائن کا صرف ایک حصہ ہے۔ باقی کام ہمارے ذمے چھوڑ دیا: • اٹیچمنٹس ڈاؤن لوڈ کرنا۔ • OCR کے ذریعے PDFs اور اسکین شدہ دستاویزات سے ٹیکسٹ نکالنا۔ • دستاویزات کو چنکس (chunks) میں تقسیم کرنا اور embeddings تیار کرنا۔ • میٹا ڈیٹا اور retrieval queries ڈیزائن کرنا۔ • indexes اور ranking کو بہتر بنانا۔ • ڈیٹا بیس کے لوڈ کی نگرانی کرنا۔

ایک صاف ستھری PDF آسان ہے۔ ایک اسکین شدہ بینک اسٹیٹمنٹ مشکل ہے۔ پانچ اٹیچمنٹس اور ٹیبلز والی ای میل اس سے بھی زیادہ مشکل ہے۔ pgvector کے ساتھ، ہمیں اس پائپ لائن کی ہر کمزوری کو خود ٹھیک کرنا پڑتا تھا۔

لاگت ہمارے کلاؤڈ بل سے منتقل ہو کر ہمارے انجینئرنگ کے وقت پر آ گئی۔ انجینئرنگ کا وقت ہمارا سب سے محدود ذریعہ تھا۔

موازنہ: • اسکین شدہ دستاویزات: ہم pgvector کے ساتھ OCR بناتے ہیں۔ Vertex زیادہ تر دستاویز پروسیسنگ سنبھالتا ہے۔ • دستاویز سے متعلق سوالات: ہم pgvector کے ساتھ queries اور ranking ڈیزائن کرتے ہیں۔ Vertex مینیجڈ سرچ فراہم کرتا ہے۔ • اٹیچمنٹس کا زیادہ بوجھ: pgvector کے ساتھ Postgres بوجھ اٹھاتا ہے۔ Vertex اس بوجھ کو ہمارے مین ڈیٹا بیس سے باہر رکھتا ہے۔ • لاگت: pgvector کی سروس لاگت کم ہے۔ Vertex کی انجینئرنگ اور دیکھ بھال (maintenance) کی لاگت کم ہے۔

ڈیٹا بیس ایکسٹینشن کے طور پر pgvector سستا ہے۔ پروڈکٹ کے فیصلے کے طور پر Vertex سستا ہے۔

Vertex چار طریقوں سے ہماری مدد کرتا ہے: • مینیج کرنے کے لیے کم انفراسٹرکچر۔ • برقرار رکھنے کے لیے کم دستاویز پروسیسنگ لاجک۔ • Postgres کاروباری لین دین (business transactions) پر مرکوز رہتا ہے۔ • جیسے جیسے ہماری دستاویزات کی مقدار بڑھتی ہے، یہ بھی اس کے ساتھ بڑھتا (scale) ہے۔

Vertex مفت نہیں ہے۔ لیکن اپنا OCR، indexing اور ranking بنانے کی بھی ایک قیمت ہے۔ ہم وہ قیمت انجینئرز کے ہفتوں کی صورت میں ادا کرتے ہیں۔

pgvector کا استعمال کریں اگر: • آپ کے ڈیٹا کی مقدار درمیانی ہے۔ • آپ کی دستاویزات پہلے سے ہی صاف ستھرا ٹیکسٹ ہیں۔ • آپ کو سخت SQL فلٹرنگ کی ضرورت ہے۔ • آپ ایک تیز رفتار اور کم لاگت والا پہلا ورژن چاہتے ہیں۔

ہمارا سبق سادہ ہے: اس ٹول سے شروع کریں جو آپ کو تیزی سے سیکھنے میں مدد دے۔ پھر اس ٹول پر منتقل ہو جائیں جو آپ کو بہترین طریقے سے کام کرنے میں مدد دے۔

ماخذ: https://dev.to/twio_ai/why-twio-chose-vertex-ai-search-over-pgvector-for-production-rag-51jm

اختیاری لرننگ کمیونٹی: https://t.me/GyaanSetuAi