Twio Neden pgvector Yerine Vertex AI Search'ü Seçti
Twio'daki ilk RAG sistemimizi pgvector kullanarak inşa ettik. Bu, hızlı bir tercihti. Verilerimiz PostgreSQL'de duruyordu. Oraya embedding eklemek kolaydı.
Ölçeklendikçe sorunumuz değişti. Artık vektörleri nasıl saklayacağımızı değil, binlerce karmaşık broker dokümanını, e-postayı ve eki nasıl anlayacağımızı sormaya başladık.
Twio, kredi brokerlarına hizmet veriyor. Tek bir vaka şunları içeriyor: • E-posta dizileri • Maaş bordroları ve banka hesap dökümleri • Kredi formları ve borç veren kuralları • El yazısı notlar
Yapay zeka şu tarz soruları yanıtlamalı: • Eksik gereksinimi hangi e-posta belirtmişti? • Bu banka hesap dökümü geliri destekliyor mu? • Bu borçlu için tüm dokümanları özetle.
Eğer geri çağırma (retrieval) zayıfsa, cevap da zayıftır. Eğer ayrıştırma (parsing) yanlışsa, model yanlış kanıtları görür. RAG, ürünümüzün hafızasıdır.
pgvector ilk versiyonumuz için iyi çalıştı çünkü: • Yeni bir altyapı gerektirmiyordu. • Maliyetleri düşüktü. • Kolay SQL hata ayıklamaya (debugging) olanak tanıyordu. • Hızlıca yayına alınabiliyordu.
Ancak pgvector, bir RAG boru hattının (pipeline) sadece bir parçasıdır. Geri kalan her şeyi bize bıraktı: • Ekleri indirmek. • OCR aracılığıyla PDF'lerden ve taramalardan metin çıkarmak. • Dokümanları parçalara ayırmak (chunking) ve embedding oluşturmak. • Meta veri ve geri çağırma sorguları tasarlamak. • İndeksleri ve sıralamayı (ranking) optimize etmek. • Veritabanı yükünü izlemek.
Temiz bir PDF kolaydır. Taranmış bir banka hesap dökümü zordur. Beş ek içeren ve tablolar barındıran bir e-posta daha da zordur. pgvector ile bu boru hattındaki her zayıflığı bizim gidermemiz gerekiyordu.
Maliyet, bulut faturamızdan mühendislik vaktimize kaydı. Mühendislik vakti, en kısıtlı kaynağımızdı.
Karşılaştırma: • Taranmış dokümanlar: pgvector ile OCR'ı biz inşa ediyoruz. Vertex, doküman işlemenin çoğunu hallediyor. • Doküman soruları: pgvector ile sorguları ve sıralamayı biz tasarlıyoruz. Vertex, yönetilen arama (managed search) sağlıyor. • Ek patlamaları: pgvector ile yükü Postgres taşıyor. Vertex, yükü ana veritabanımızın dışında tutuyor. • Maliyet: pgvector'un servis maliyetleri daha düşük. Vertex'in mühendislik ve bakım maliyetleri daha düşük.
pgvector bir veritabanı eklentisi olarak daha ucuzdur. Vertex ise bir ürün kararı olarak daha ucuzdur.
Vertex bize dört şekilde yardımcı oluyor: • Yönetilecek daha az altyapı. • Bakımı yapılacak daha az doküman işleme mantığı. • Postgres iş işlem (transaction) odaklı kalıyor. • Doküman hacmimiz arttıkça ölçekleniyor.
Vertex ücretsiz değil. Ancak kendi OCR, indeksleme ve sıralama sistemimizi kurmanın da bir maliyeti var. Bu maliyeti mühendislik haftalarıyla ödüyoruz.
Şu durumlarda pgvector kullanın: • Veri hacminiz orta düzeydeyse. • Dokümanlarınız halihazırda temiz metin halindeyse. • Sıkı SQL filtrelemeye ihtiyacınız varsa. • Hızlı ve düşük maliyetli bir ilk versiyon istiyorsanız.
Dersimiz basit: En hızlı öğrenmenize yardımcı olan araçla başlayın. En iyi şekilde operasyon yürütmenize yardımcı olan araca geçin.
Kaynak: https://dev.to/twio_ai/why-twio-chose-vertex-ai-search-over-pgvector-for-production-rag-51jm
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi