𝗪𝗵𝘆 𝗧𝘄𝗶𝗼 𝗖𝗵𝗼𝘀𝗲 𝗩𝗲𝗿𝘁𝗲𝘅 𝗔𝗜 𝗦𝗲𝗮𝗿𝗰𝗵 𝗼𝘃𝗲𝗿 𝗽𝗴𝘃𝗲𝗰𝘁𝗼𝗿
અમે Twio માં અમારું પ્રથમ RAG સિસ્ટમ pgvector નો ઉપયોગ કરીને બનાવ્યું હતું. તે એક ઝડપી પસંદગી હતી. અમારો ડેટા PostgreSQL માં હતો. ત્યાં embeddings ઉમેરવા સરળ હતું.
જેમ જેમ અમે સ્કેલ થયા, અમારી સમસ્યા બદલાઈ ગઈ. અમે હવે એ નથી પૂછતા કે વેક્ટર્સ કેવી રીતે સ્ટોર કરવા. અમે એ પૂછતા હતા કે હજારો અસ્તવ્યસ્ત બ્રોકર દસ્તાવેજો, ઈમેલ અને એટેચમેન્ટ્સને કેવી રીતે સમજવા.
Twio લોન બ્રોકર્સને સેવા આપે છે. એક સિંગલ કેસમાં નીચે મુજબની વસ્તુઓ હોય છે: • ઈમેલ થ્રેડ્સ • પેસ્લિપ્સ અને બેંક સ્ટેટમેન્ટ્સ • લોન ફોર્મ્સ અને લેન્ડરના નિયમો • હાથથી લખેલી નોંધો
AI એ આ પ્રકારના પ્રશ્નોના જવાબ આપવા જોઈએ: • કયા ઈમેલમાં ખૂટતી જરૂરિયાતનો ઉલ્લેખ કરવામાં આવ્યો હતો? • શું આ બેંક સ્ટેટમેન્ટ આવકનું સમર્થન કરે છે? • આ લેણદાર (borrower) માટેના તમામ દસ્તાવેજોનો સારાંશ આપો.
જો retrieval નબળું હોય, તો જવાબ નબળો હશે. જો parsing ખોટું હોય, તો મોડેલ ખોટા પુરાવા જોશે. RAG એ અમારા પ્રોડક્ટની મેમરી છે.
pgvector અમારા પ્રથમ વર્ઝન માટે સારું કામ કરી ગયું કારણ કે: • તેમાં કોઈ નવા ઇન્ફ્રાસ્ટ્રક્ચરની જરૂર નહોતી. • તેનો ખર્ચ ઓછો હતો. • તે સરળ SQL debugging ની મંજૂરી આપતું હતું. • તેને ઝડપથી લોન્ચ કરી શકાયું.
પરંતુ pgvector એ RAG પાઇપલાઇનનો માત્ર એક ભાગ છે. બાકીનું કામ તેણે અમારા પર છોડી દીધું: • એટેચમેન્ટ્સ ડાઉનલોડ કરવા. • OCR દ્વારા PDF અને સ્કેનમાંથી ટેક્સ્ટ કાઢવું. • દસ્તાવેજોનું chunking કરવું અને embeddings જનરેટ કરવા. • metadata અને retrieval queries ડિઝાઇન કરવી. • indexes અને ranking ટ્યુન કરવી. • ડેટાબેઝ લોડનું મોનિટરિંગ કરવું.
એક ક્લીન PDF સરળ છે. સ્કેન કરેલું બેંક સ્ટેટમેન્ટ અઘરું છે. પાંચ એટેચમેન્ટ્સ અને ટેબલવાળો ઈમેલ તો તેનાથી પણ વધુ અઘરો છે. pgvector સાથે, અમારે તે પાઇપલાઇનની દરેક નબળાઈ સુધારવી પડતી હતી.
ખર્ચ અમારા ક્લાઉડ બિલમાંથી બદલાઈને અમારા એન્જિનિયરિંગ સમયમાં વણાઈ ગયો. એન્જિનિયરિંગ સમય એ અમારું સૌથી મર્યાદિત સંસાધન હતું.
સરખામણી: • સ્કેન કરેલા દસ્તાવેજો: અમે pgvector સાથે OCR બનાવીએ છીએ. Vertex મોટાભાગની ડોક્યુમેન્ટ પ્રોસેસિંગ સંભાળે છે. • ડોક્યુમેન્ટ પ્રશ્નો: અમે pgvector સાથે ક્વેરીઝ અને રેન્કિંગ ડિઝાઇન કરીએ છીએ. Vertex મેનેજ્ડ સર્ચ પૂરું પાડે છે. • એટેચમેન્ટ બર્સ્ટ્સ: Postgres pgvector સાથે લોડ ઉપાડે છે. Vertex લોડને અમારા મુખ્ય ડેટાબેઝની બહાર રાખે છે. • ખર્ચ: pgvector માં સર્વિસ ખર્ચ ઓછો છે. Vertex માં એન્જિનિયરિંગ અને મેન્ટેનન્સ ખર્ચ ઓછો છે.
ડેટાબેઝ એક્સટેન્શન તરીકે pgvector સસ્તું છે. પ્રોડક્ટ નિર્ણય તરીકે Vertex સસ્તું છે.
Vertex અમને ચાર રીતે મદદ કરે છે: • મેનેજ કરવા માટે ઓછું ઇન્ફ્રાસ્ટ્રક્ચર. • મેન્ટેન કરવા માટે ઓછું ડોક્યુમેન્ટ-પ્રોસેસિંગ લોજિક. • Postgres બિઝનેસ ટ્રાન્ઝેક્શન પર ધ્યાન કેન્દ્રિત રાખે છે. • જેમ જેમ અમારા દસ્તાવેજોનું પ્રમાણ વધે છે તેમ તેમ તે સ્કેલ થાય છે.
Vertex મફત નથી. પરંતુ અમારું પોતાનું OCR, ઇન્ડેક્સિંગ અને રેન્કિંગ બનાવવાનો પણ ખર્ચ છે. અમે તે ખર્ચ એન્જિનિયરના અઠવાડિયાના સમય તરીકે ચૂકવીએ છીએ.
pgvector નો ઉપયોગ કરો જો: • તમારો ડેટા વોલ્યુમ મધ્યમ હોય. • તમારા દસ્તાવેજો પહેલેથી જ ક્લીન ટેક્સ્ટ હોય. • તમારે ટાઈટ SQL ફિલ્ટરિંગની જરૂર હોય. • તમે ઝડપી, ઓછા ખર્ચવાળું પ્રથમ વર્ઝન ઈચ્છતા હોવ.
અમારો પાઠ સરળ છે: એ સાધનથી શરૂઆત કરો જે તમને સૌથી ઝડપથી શીખવામાં મદદ કરે છે. એ સાધન પર જાઓ જે તમને શ્રેષ્ઠ રીતે કામ કરવામાં મદદ કરે છે.
Source: https://dev.to/twio_ai/why-twio-chose-vertex-ai-search-over-pgvector-for-production-rag-51jm
Optional learning community: https://t.me/GyaanSetuAi