𝗪𝗵𝘆 𝗧𝘄𝗶𝗼 𝗖𝗵𝗼𝘀𝗲 𝗩𝗲𝗿𝘁𝗲𝘅 𝗔𝗜 𝗦𝗲𝗮𝗿𝗰𝗵 𝗼𝘃𝗲𝗿 𝗽𝗴𝘃𝗲𝗰𝘁𝗼𝗿
pgvector కంటే Vertex AI Search ను Twio ఎందుకు ఎంచుకుంది
మేము Twioలో మా మొదటి RAG సిస్టమ్ను pgvector ఉపయోగించి నిర్మించాము. అది వేగవంతమైన ఎంపిక. మా డేటా PostgreSQLలో ఉంది. అక్కడ embeddings జోడించడం సులభం.
మేము విస్తరిస్తున్న కొద్దీ, మా సమస్య మారింది. వెక్టార్లను (vectors) ఎలా నిల్వ చేయాలి అని మేము అడగడం లేదు. వేలాది గందరగోళంగా ఉన్న బ్రోకర్ డాక్యుమెంట్లు, ఈమెయిల్స్ మరియు అటాచ్మెంట్లను ఎలా అర్థం చేసుకోవాలి అని మేము అడుగుతున్నాము.
Twio లోన్ బ్రోకర్లకు సేవలు అందిస్తుంది. ఒకే కేసులో ఇవి ఉంటాయి: • ఈమెయిల్ త్రెడ్స్ (Email threads) • పేస్లిప్స్ మరియు బ్యాంక్ స్టేట్మెంట్లు • లోన్ ఫారమ్లు మరియు లెండర్ రూల్స్ • చేతితో రాసిన నోట్స్
AI ఈ క్రింది ప్రశ్నలకు సమాధానం చెప్పాలి: • ఏ ఈమెయిల్లో లోపించిన అవసరాల (missing requirement) గురించి పేర్కొన్నారు? • ఈ బ్యాంక్ స్టేట్మెంట్ ఆదాయానికి మద్దతు ఇస్తుందా? • ఈ రుణగ్రహీతకు సంబంధించిన అన్ని డాక్యుమెంట్లను క్లుప్తంగా వివరించండి (Summarize).
రిట్రీవల్ (retrieval) బలహీనంగా ఉంటే, సమాధానం కూడా బలహీనంగా ఉంటుంది. పార్సింగ్ (parsing) తప్పుగా ఉంటే, మోడల్ తప్పు ఆధారాలను చూస్తుంది. RAG అనేది మా ఉత్పత్తి యొక్క జ్ఞాపకశక్తి (memory).
మా మొదటి వెర్షన్కు pgvector బాగా పనిచేసింది ఎందుకంటే: • దీనికి కొత్త ఇన్ఫ్రాస్ట్రక్చర్ అవసరం లేదు. • దీని ఖర్చులు తక్కువ. • ఇది సులభమైన SQL డీబగ్గింగ్ను అనుమతించింది. • దీనిని వేగంగా విడుదల చేయవచ్చు.
కానీ pgvector అనేది RAG పైప్లైన్లో ఒక భాగం మాత్రమే. మిగిలిన పనులను మాకే వదిలేసింది: • అటాచ్మెంట్లను డౌన్లోడ్ చేయడం. • OCR ద్వారా PDFలు మరియు స్కాన్ల నుండి టెక్స్ట్ను సంగ్రహించడం (Extracting). • డాక్యుమెంట్లను చంకింగ్ (chunking) చేయడం మరియు embeddings రూపొందించడం. • మెటాడేటా మరియు రిట్రీవల్ క్వరీలను డిజైన్ చేయడం. • ఇండెక్స్లు మరియు ర్యాంకింగ్ను ట్యూన్ చేయడం. • డేటాబేస్ లోడ్ను పర్యవేక్షించడం.
క్లీన్ PDF సులభం. స్కాన్ చేసిన బ్యాంక్ స్టేట్మెంట్ కష్టం. ఐదు అటాచ్మెంట్లు మరియు టేబుల్స్తో ఉన్న ఈమెయిల్ ఇంకా కష్టం. pgvectorతో, ఆ పైప్లైన్లోని ప్రతి బలహీనతను మేము సరిదిద్దాల్సి వచ్చింది.
ఖర్చు మా క్లౌడ్ బిల్లు నుండి మా ఇంజనీరింగ్ సమయానికి మారింది. ఇంజనీరింగ్ సమయం మా వద్ద ఉన్న అత్యంత పరిమితమైన వనరు.
పోలిక: • స్కాన్ చేసిన డాక్యుమెంట్లు: pgvectorతో మేము OCRని నిర్మిస్తాము. Vertex మెజారిటీ డాక్యుమెంట్ ప్రాసెసింగ్ను నిర్వహిస్తుంది. • డాక్యుమెంట్ ప్రశ్నలు: pgvectorతో మేము క్వరీలను మరియు ర్యాంకింగ్ను డిజైన్ చేస్తాము. Vertex మేనేజ్డ్ సెర్చ్ (managed search) అందిస్తుంది. • అటాచ్మెంట్ బర్స్ట్లు (Attachment bursts): pgvectorతో Postgres లోడ్ను మోస్తుంది. Vertex ఆ లోడ్ను మా ప్రధాన డేటాబేస్ వెలుపల ఉంచుతుంది. • ఖర్చు: pgvectorకు తక్కువ సర్వీస్ ఖర్చులు ఉంటాయి. Vertexకు తక్కువ ఇంజనీరింగ్ మరియు మెయింటెనెన్స్ ఖర్చులు ఉంటాయి.
డేటాబేస్ ఎక్స్టెన్షన్గా pgvector చౌకైనది. ఒక ప్రొడక్ట్ నిర్ణయంగా Vertex చౌకైనది.
Vertex మాకు నాలుగు విధాలుగా సహాయపడుతుంది: • నిర్వహించడానికి తక్కువ ఇన్ఫ్రాస్ట్రక్చర్. • మెయింటైన్ చేయడానికి తక్కువ డాక్యుమెంట్-ప్రాసెసింగ్ లాజిక్. • Postgres వ్యాపార లావాదేవీలపై (business transactions) దృష్టి పెట్టగలదు. • మా డాక్యుమెంట్ పరిమాణం పెరిగే కొద్దీ ఇది స్కేల్ అవుతుంది.
Vertex ఉచితం కాదు. కానీ మా స్వంత OCR, ఇండెక్సింగ్ మరియు ర్యాంకింగ్ను నిర్మించడానికి కూడా ఖర్చు అవుతుంది. ఆ ఖర్చును మేము ఇంజనీర్ల వారాల సమయం రూపంలో చెల్లిస్తున్నాము.
ఈ క్రింది సందర్భాలలో pgvector ఉపయోగించండి: • మీ డేటా పరిమాణం మధ్యస్థంగా ఉన్నప్పుడు. • మీ డాక్యుమెంట్లు ఇప్పటికే క్లీన్ టెక్స్ట్గా ఉన్నప్పుడు. • మీకు కచ్చితమైన SQL ఫిల్టరింగ్ అవసరమైనప్పుడు. • మీరు వేగవంతమైన, తక్కువ ఖర్చుతో కూడిన మొదటి వెర్షన్ను కోరుకున్నప్పుడు.
మా పాఠం సరళమైనది: మీరు వేగంగా నేర్చుకోవడానికి సహాయపడే సాధనంతో ప్రారంభించండి. మీరు ఉత్తమంగా నిర్వహించడానికి (operate) సహాయపడే సాధనానికి మారండి.
Source: https://dev.to/twio_ai/why-twio-chose-vertex-ai-search-over-pgvector-for-production-rag-51jm
Optional learning community: https://t.me/GyaanSetuAi