MCP + RAG: Kwa Nini Niliacha Kujenga Mifumo Tata ya RAG

Nilitumia miaka minne nikijenga mifumo tata ya RAG.

Nilitumia mbinu za chunking, mifumo ya embedding, kanzidata za vector, na rerankers. Nilijenga mfumo kwa ajili ya kanzi-data yangu ya saa 1,800. Kila mara, nilidhani nilikuwa nikiifanya iwe kamilifu.

Haikuwa inafanya kazi vizuri.

Kisha nikaongeza msaada wa Model Context Protocol (MCP). Ilibadilisha kila kitu. MCP inafanya RAG tata ya kiasili kuwa isiyo na ulazima kwa watu wengi.

Nilikuwa nikipambana na matatizo haya:

  • Kuchagua kati ya semantic au recursive chunking.
  • Kuchagua kati ya OpenAI, Cohere, au Nomic embeddings.
  • Kuamua kati ya Pinecone, Weaviate, au Chroma.
  • Kusimamia top-k retrieval na reranking.

Mfumo wangu wa RAG ulifikia mistari 2,000 ya kodi. Ulikuwa wa kuvutia lakini ulishindwa. Nilikuwa najaribu kuifanya data yangu iwe na akili wakati AI tayari ilikuwa na akili.

Nilibadilisha na kutumia mbinu ya MCP. Nilijenga seva yenye mistari 150 tu ya kodi.

Nilimpa AI zana mbili tu:

  • search_notes: Inatumia ulinganishaji rahisi wa maandishi ili kupata maelezo.
  • get_note_content: Inarudisha maandishi kamili ya maelezo.

Hakuna chunks. Hakuna embedding tata. Hakuna kanzidata za vector.

Mbinu hii rahisi inashinda mfumo wangu wa RAG wa kisasa mara 9 kati ya 10. Hii ndiyo sababu:

  1. AI inashughulikia mantiki. AI ina uwezo mzuri zaidi wa kuamua nini kinafaa kuliko chunker iliyowekwa mapema.
  2. Muktadha kamili. RAG ya kiasili hukata maelezo katika vipande vidogo. Hii mara nyingi hupoteza jibu. Kwa MCP, AI inasoma maelezo yote. Inaona wazo kamili.
  3. Utabiri. Utafutaji wa maandishi ni rahisi. Ikiwa neno muhimu lipo, inafanya kazi. Unavoid embedding drift na makosa ya dimension.

Unapaswa bado kutumia RAG ya kiasili ikiwa:

  • Una zaidi ya nyaraka 100,000 kubwa.
  • Unahitaji uzalishaji wa kiwango cha juu (high-scale production) wenye ucheleweshaji mdogo (low latency).

Lakini kwa kanzi-data za kibinafsi, miradi ya pembeni (side projects), au zana za ndani, hauhitaji.

Faida za MCP:

  • Rahisi kudumisha: Mistari 150 badala ya 2,000.
  • Hakuna gharama za embedding: Huhitaji ku-re-embed data wakati mifumo inabadilika.
  • Usahihi bora zaidi: AI inapata muktadha kamili.
  • Rahisi kurekebisha (debug): Unaweza kuona kwa usahihi kwa nini utafutaji ulishindwa.

Acha kufanya uhandisi uliopitiliza (over-engineering). Acha AI ifanye kazi nzito. Ipe ufikiaji wa data yako na uiache isome.

Chanzo: https://dev.to/kevinten10/mcp-rag-why-i-stopped-building-complex-rag-systems-after-mcp-changed-everything-4g86

Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi