LanceDB, 100 bin OpenAI embedding'ini pgvector'den 22 kat daha hızlı yüklerken; pgvector, sekiz eşzamanlı istemciden gelen aynı iş yükünü 1,8 kat daha hızlı yanıtladı. Tek iş parçacığı (single-thread) gecikmesi ve depolama verimliliğindeki fark da LanceDB lehine sonuçlanarak geliştiricilere bir vektör deposu seçmek için veri odaklı bir yol sundu.

Bir kıyaslamanın (benchmark) şu an neden önemli olduğu

Vektör araması, araştırma laboratuvarlarından öneri motorları ve geri getirme ile zenginleştirilmiş üretim (RAG) gibi üretim servislerine taşındı. Çoğu ekip halihazırda PostgreSQL kullanıyor, bu nedenle pgvector eklentisi yeni bir altyapıya ihtiyaç duymadan benzerlik araması vaat ediyor. Ancak LanceDB gibi özel depolar, daha düşük gecikme süresi ve daha ucuz depolama vaat ediyor. Ekipler, veri setleri büyüdükçe ve istek oranları arttıkça maliyeti ve performansı etkileyen "mevcut olanın üzerine ekle" ile "amaca yönelik bir motor çalıştır" seçenekleri arasında bir seçim yapmak zorunda kalıyor.

Test nasıl kuruldu

Her iki sistem de OpenAI'ın embedding modeli tarafından oluşturulan, her biri 1536 boyutlu aynı 100 bin vektörü indeksledi. Veri alım (ingestion) hızını, disk kullanımını, tek iş parçacığı sorgu gecikmesini ve sekiz eşzamanlı istemci ile işleme kapasitesini (throughput) ölçtük.

Kafa kafaya sonuçlar

  • Veri alım hızı – LanceDB 22 katlık bir avantaj kaydetti.
  • Disk ayak izi – LanceDB, vektörleri pgvector'ün kullandığının yaklaşık üçte biri kadar alanda depoladı.
  • Tek iş parçacığı gecikmesi – Sorgular LanceDB üzerinde yaklaşık iki kat daha hızlı çalıştı.
  • Eşzamanlılık ölçeklendirmesi – Sekiz paralel istemci ile pgvector, LanceDB'den 1,8 kat daha yüksek işleme kapasitesi sağladı.

Farkların mimari kökenleri

LanceDB, uygulamayı barındıran Python işlemi içinde çalışan gömülü (embedded) bir kütüphanedir. Tüm işlemler işlem içi (in-process) kalır, böylece veriler asla bir ağ sınırını geçmez ve indeks minimum ek yükle (overhead) güncellenir. Bu tasarım, tek görevli iş yükleri için mükemmeldir ancak birden fazla Python iş parçacığı, Python bytecode'unun gerçek paralel yürütülmesini engelleyen Global Interpreter Lock (GIL) için yarıştığında bir sınıra ulaşır.

pgvector, PostgreSQL'i sunucu tarafında genişletir. Her istemci bağlantısı ayrı bir sunucu işlemi başlatarak GIL'i tamamen devre dışı bırakır. PostgreSQL planlayıcısı, bir benzerlik aramasının nasıl karşılanacağına karar verir ve sunucu, eşzamanlı istekleri karşılamak için birçok işlem başlatabilir. Bu izolasyon, yük altında daha iyi ölçeklenmeyi açıklar.

Filtreleme ve sorgu planlama tuhaflıkları

Gerçek dünyadaki RAG boru hatları (pipelines), vektör benzerliğini genellikle geleneksel filtrelerle (örneğin, WHERE user_id = 42) birleştirir. LanceDB, çalışmalar boyunca öngörülebilir şekilde davranan bir ön filtre (prefilter) uygular. pgvector ise istatistiklere bağlı olarak hızlı bir indeks taraması seçebilen veya daha yavaş bir tam taramaya (exact scan) geri dönebilen PostgreSQL sorgu planlayıcısına güvenir. Bir pgvector tablosuna toplu veri yükledikten sonra ANALYZE komutunu çalıştırmak bu istatistikleri yeniler; bu yapılmazsa, geri çağırma (recall) oranı sıfıra yaklaşabilir ve bu da aramayı fiilen bozar.

Hangi seçenek ne zaman mantıklıdır

Şu durumlarda pgvector seçin:

  • Teknoloji yığınınız (stack) halihazırda PostgreSQL içeriyorsa ve başka bir servis eklemekten kaçınmak istiyorsanız.
  • Çok sayıda eşzamanlı kullanıcı veya API çağrısı bekliyorsanız.
  • ACID garantileri ve tanıdık DBA araçları önemliyse.

Şu durumlarda LanceDB seçin:

  • İş akışınız sık sık yeni embedding'ler alan bir ML boru hattıysa.
  • Tek istekli ajanlar (örneğin, sohbet botları) için en hızlı yazma yoluna ve düşük gecikmeye ihtiyacınız varsa.
  • Disk maliyeti bir sorunsa ve tek iş parçacığı performans sınırını tolere edebiliyorsanız.

Özetle: Eğer ham veri alım hızı, minimum depolama ve tek istek gecikmesi en önemli kriterlerse, LanceDB kazanır. Eğer aynı anda birçok kullanıcıya hizmet vermeniz gerekiyorsa ve mevcut bir PostgreSQL kurulumuna güveniyorsanız, pgvector'ün eşzamanlılık avantajı onu daha güvenli bir seçenek yapar. Depoyu ürününüzün en kritik metriğiyle eşleştirmek için bu kıyaslamadaki rakamları kullanın.