من عدم الفهم إلى بناء تطبيق RAG
قضيت يوم أمس في قراءة 31 صفحة من ملاحظاتي الخاصة حول معالجة اللغات الطبيعية (NLP).
لم أفهم شيئاً.
ظننت أن المشكلة تكمن فيّ، لكنها لم تكن كذلك. المشكلة كانت في أسلوبي؛ فقراءة الملاحظات ليست تعلماً. كانت ملاحظاتي موجهة لخبراء، وليس للمبتدئين.
غيرت أسلوبي. توقفت عن القراءة، وبدلاً من ذلك، بدأت بطرح الأسئلة. استخدمت أمثلة بسيطة، ورفضت استخدام المصطلحات التقنية حتى أفهم المفهوم تماماً.
وبحلول نهاية اليوم، قمت ببناء تطبيق RAG. إليكم كيف تعلمت الركائز الأربع لمعالجة اللغات الطبيعية (NLP).
- حقيبة الكلمات (Bag of Words) الحواسيب لا تفهم سوى الرياضيات. لمعالجة النصوص، يجب عليك تحويل الكلمات إلى أرقام.
تخيل أنك تريد تصنيف رسائل البريد الإلكتروني إلى رسائل مزعجة (spam) أو غير مزعجة. تقوم بسرد كل كلمة في رسائلك، وتحسب عدد مرات ظهور كل كلمة. هذا يحول البريد الإلكتروني إلى صف من الأرقام.
العيب؟ أنها تتجاهل ترتيب الكلمات. فجملتا "Dog bites man" و"man bites dog" تبدوان متطابقتين لهذه الطريقة.
- TF-IDF تعامل طريقة "حقيبة الكلمات" كل كلمة بنفس الطريقة، لكن كلمة "the" ليست بنفس أهمية كلمة "viagra".
تعتمد TF-IDF على قاعدتين:
- تردد المصطلح (TF): عدد مرات ظهور الكلمة في رسالة بريد إلكتروني واحدة.
- تردد المستند العكسي (IDF): مدى ندرة الكلمة عبر جميع رسائل البريد الإلكتروني.
هذه العملية الحسابية تُهمّش الكلمات الحشوية مثل "the" وتبرز الكلمات المهمة والنادرة.
- التضمينات (Embeddings) تعتقد طريقة "حقيبة الكلمات" أن كلمتي "money" و"cash" غير مرتبطتين، لكن التضمينات تعالج هذه المشكلة.
تخيل خريطة عملاقة؛ كل كلمة هي نقطة على تلك الخريطة. الكلمات ذات المعاني المتشابهة تقع بالقرب من بعضها البعض. "Money" و"cash" جيران، بينما "Banana" بعيدة جداً.
يتعلم الحاسوب هذه المواقع من خلال مراقبة الكلمات التي تصاحب الكلمة المستهدفة. فإذا ظهرت كلمتا "money" و"cash" بالقرب من "bank" و"pay"، سيضعهما الحاسوب بالقرب من بعضهما البعض.
- RAG (Retrieval-Augmented Generation) هنا تكتمل الصورة.
إذا كانت كل ملاحظة في ملفاتك تمثل نقطة على الخريطة، يمكنك العثور على الإجابات من خلال البحث عن أقرب النقاط.
عملية RAG:
- تحويل السؤال إلى نقطة.
- العثور على أقرب "نقاط الملاحظات" على الخريطة.
- إعطاء تلك الملاحظات إلى نموذج ذكاء اصطناعي (AI).
- توجيه الذكاء الاصطناعي للإجابة باستخدام تلك الملاحظات فقط.
هذا يمنع الذكاء الاصطناعي من التخمين أو الكذب، ويجبره على استخدام بياناتك الفعلية.
لقد بنيت تطبيقي، Synapse، باستخدام هذه الخطوات. لقد انتقلت من الصفر إلى نظام يعمل في يوم واحد فقط.
الدرس: توقف عن القراءة. ابدأ بطرح الأسئلة. إذا لم تتمكن من شرح مفهوم ما باستخدام تشبيه بسيط، فأنت لم تتقنه بعد. ابنِ شيئاً لتثبت أنك تفهم.
المصدر: https://dev.to/sabimantock/from-i-understood-nothing-to-building-a-rag-app-4033
مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi