𝗪𝗵𝘆 𝗧𝘄𝗶𝗼 𝗜𝗹𝗶𝗰𝗵𝗼𝗸𝗮 𝗩𝗲𝗿𝘁𝗲𝘅 𝗔𝗜 𝗦𝗲𝗮𝗿𝗰𝗵 𝗕𝗮𝗱𝗮𝗹𝗮 𝗽𝗴𝘃𝗲𝗰𝘁𝗼𝗿
Tulijenga mfumo wetu wa kwanza wa RAG hapa Twio tukitumia pgvector. Ilikuwa chaguo la haraka. Data zetu zilikuwa kwenye PostgreSQL. Kuongeza embeddings huko kulikuwa rahisi.
Tulipokuwa tukikua, tatizo letu lilibadilika. Hatukuuliza tena jinsi ya kuhifadhi vectors. Tuliuliza jinsi ya kuelewa maelfu ya nyaraka za mawakala (brokers) zilizochanganyikiwa, barua pepe, na viambatisho.
Twio inahudumia mawakala wa mikopo. Kesi moja inajumuisha: • Mitambo ya barua pepe • Stakabadhi za malipo na taarifa za benki • Fomu za mkopo na sheria za mkopeshi • Kumbukumbu zilizoandikwa kwa mkono
AI lazima ijibu maswali kama: • Ni barua pepe ipi iliyotaja hitaji lililokosekana? • Je, taarifa hii ya benki inathibitisha kipato? • Fupisha nyaraka zote kwa mkopaji huyu.
Ikiwa upatikanaji (retrieval) ni dhaifu, jibu litakuwa dhaifu. Ikiwa uchambuzi (parsing) ni mbaya, modeli itaona ushahidi usio sahihi. RAG ndiyo kumbukumbu ya bidhaa yetu.
pgvector ilifanya kazi vizuri kwa toleo letu la kwanza kwa sababu: • Haikuhitaji miundombinu mipya. • Ilikuwa na gharama nafuu. • Iliruhusu kurekebisha makosa (debugging) ya SQL kwa urahisi. • Ilikuwa rahisi kuituma haraka.
Lakini pgvector ni sehemu tu ya mtiririko (pipeline) wa RAG. Ilituachia kazi nyingine: • Kupakua viambatisho. • Kuchukua maandishi kutoka kwenye PDF na nakala (scans) kupitia OCR. • Kugawanya nyaraka katika vipande (chunking) na kutengeneza embeddings. • Kubuni metadata na maswali ya upatikanaji (retrieval queries). • Kurekebisha (tuning) viashiria (indexes) na mpangilio (ranking). • Kufuatilia mzigo wa hifadhidata (database load).
PDF safi ni rahisi. Taarifa ya benki iliyoskaniwa ni ngumu. Barua pepe yenye viambatisho vitano na majedwali ni ngumu zaidi. Kwa kutumia pgvector, ilibidi tuboreshe kila udhaifu katika mtiririko huo.
Gharama ilihamia kutoka kwenye bili yetu ya wingu (cloud bill) kwenda kwenye muda wetu wa uhandisi. Muda wa uhandisi ulikuwa rasilimali yetu yenye upungufu mkubwa zaidi.
Ulinganifu: • Nyaraka zilizoskaniwa: Tunajenga OCR kwa kutumia pgvector. Vertex inashughulikia sehemu kubwa ya usindikaji wa nyaraka. • Maswali ya nyaraka: Tunaunda maswali na mpangilio kwa kutumia pgvector. Vertex inatoa utafutaji unaosimamiwa (managed search). • Ongezeko la viambatisho: Postgres inabeba mzigo kwa kutumia pgvector. Vertex inaweka mzigo nje ya hifadhidata yetu kuu. • Gharama: pgvector ina gharama ndogo za huduma. Vertex ina gharama ndogo za uhandisi na matengenezo.
pgvector ni rahisi zaidi kama nyongeza ya hifadhidata (database extension). Vertex ni rahisi zaidi kama uamuzi wa bidhaa.
Vertex inatusaidia kwa njia nne: • Miundombinu kidogo zaidi ya kusimamia. • Mantiki kidogo zaidi ya usindikaji wa nyaraka ya kudumisha. • Postgres inabaki ikiwa imejikita kwenye miamala ya biashara. • Inapanuka (scales) kadiri kiasi cha nyaraka zetu kinavyoongezeka.
Vertex si bure. Lakini kujenga OCR, indexing, na ranking yetu wenyewe pia kuna gharama. Tunalipa gharama hiyo kwa wiki za wahandisi.
Tumia pgvector ikiwa: • Kiasi chako cha data ni cha wastani. • Nyaraka zako tayari ni maandishi safi. • Unahitaji uchujaji mkali wa SQL. • Unataka toleo la kwanza la haraka na la gharama nafuu.
Somo letu ni rahisi: Anza na zana inayokusaidia kujifunza haraka zaidi. Hamia kwenye zana inayokusaidia kufanya kazi vizuri zaidi.
Chanzo: https://dev.to/twio_ai/why-twio-chose-vertex-ai-search-over-pgvector-for-production-rag-51jm
Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi