MCP + RAG: למה הפסקתי לבנות מערכות RAG מורכבות

ביליתי ארבע שנים בבניית מערכות RAG מורכבות.

השתמשתי באסטרטגיות chunking, במודלי embedding, במסדי נתונים וקטוריים (vector databases) וב-rerankers. בניתי מערכת עבור מאגר הידע שלי, שצבר 1,800 שעות של תוכן. בכל פעם חשבתי שאני הופך אותה למושלמת.

זה מעולם לא עבד טוב.

ואז הוספתי תמיכה ב-Model Context Protocol (MCP). זה שינה הכל. MCP הופך את ה-RAG המסורתי והמורכב למיותר עבור רוב האנשים.

פעם נאלצתי להילחם בבעיות האלה:

  • בחירה בין semantic chunking לבין recursive chunking.
  • בחירה בין embeddings של OpenAI, Cohere או Nomic.
  • החלטה בין Pinecone, Weaviate או Chroma.
  • ניהול top-k retrieval ו-reranking.

מערכת ה-RAG שלי הגיעה ל-2,000 שורות קוד. זה היה מרשים, אבל זה נכשל. ניסיתי להפוך את הנתונים שלי לחכמים, כשבפועל ה-AI כבר היה חכם.

עברתי לגישת MCP. בניתי שרת עם 150 שורות קוד בלבד.

נתתי ל-AI רק שני כלים:

  • search_notes: משתמש בהתאמת טקסט פשוטה כדי למצוא הערות.
  • get_note_content: מחזיר את הטקסט המלא של ההערה.

בלי chunks. בלי embeddings מורכבים. בלי מסדי נתונים וקטוריים.

הגישה הפשוטה הזו מנצחת את מערכת ה-RAG המתוחכמת שלי ב-9 מתוך 10 מקרים. הנה הסיבה:

  1. ה-AI מטפל בלוגיקה. ה-AI טוב יותר בלְקבוע מה רלוונטי מאשר chunker מוגדר מראש.
  2. הקשר מלא (Full context). RAG מסורתי חותך הערות לחתיכות קטנות. זה לעיתים קרובות גורם לאובדן התשובה. עם MCP, ה-AI קורא את ההערה כולה. הוא רואה את הרעיון המלא.
  3. צפיות (Predictability). חיפוש טקסט הוא פשוט. אם מילת המפתח קיימת, זה עובד. אתם נמנעים מ-embedding drift ומשגיאות ממדים (dimension errors).

עדיין כדאי להשתמש ב-RAG מסורתי אם:

  • יש לכם מעל 100,000 מסמכים גדולים.
  • אתם זקוקים לייצור בקנה מידה גדול (high-scale production) עם שיהוי (latency) נמוך.

אבל עבור מאגרי ידע אישיים, פרויקטים צדדיים או כלים פנימיים, אתם לא צריכים אותו.

היתרונות של MCP:

  • קל לתחזוקה: 150 שורות במקום 2,000.
  • ללא עלויות embedding: אין צורך לבצע re-embed לנתונים כשמודלים משתנים.
  • דיוק טוב יותר: ה-AI מקבל את ההקשר המלא.
  • קל לדבג (debug): אתם יכולים לראות בדיוק למה חיפוש נכשל.

תפסיקו עם ה-over-engineering. תנו ל-AI לעשות את העבודה הקשה. תנו לו גישה לנתונים שלכם ותנו לו לקרוא.

מקור: https://dev.to/kevinten10/mcp-rag-why-i-stopped-building-complex-rag-systems-after-mcp-changed-everything-4g86

קהילת למידה אופציונלית: https://t.me/GyaanSetuAi