Por qué Twio eligió Vertex AI Search en lugar de pgvector
Construimos nuestro primer sistema RAG en Twio usando pgvector. Fue la opción rápida. Nuestros datos residían en PostgreSQL. Añadir embeddings allí fue fácil.
A medida que escalamos, nuestro problema cambió. Ya no nos preguntábamos cómo almacenar vectores. Nos preguntábamos cómo entender miles de documentos de corredores desordenados, correos electrónicos y archivos adjuntos.
Twio presta servicios a corredores de préstamos. Un solo caso contiene: • Hilos de correos electrónicos • Recibos de nómina y estados de cuenta bancarios • Formularios de préstamo y reglas de prestamistas • Notas manuscritas
La IA debe responder preguntas como: • ¿Qué correo electrónico mencionó el requisito faltante? • ¿Este estado de cuenta bancario respalda los ingresos? • Resume todos los documentos de este prestatario.
Si la recuperación (retrieval) es débil, la respuesta es débil. Si el procesamiento (parsing) es incorrecto, el modelo ve la evidencia equivocada. RAG es la memoria de nuestro producto.
pgvector funcionó bien para nuestra primera versión porque: • No requería nueva infraestructura. • Tenía costos bajos. • Permitía una depuración SQL sencilla. • Fue rápido de implementar.
Pero pgvector es solo una parte de un pipeline de RAG. Nos dejó el resto a nosotros: • Descargar archivos adjuntos. • Extraer texto de PDFs y escaneos mediante OCR. • Fragmentar (chunking) documentos y generar embeddings. • Diseñar metadatos y consultas de recuperación. • Ajustar índices y ranking. • Monitorear la carga de la base de datos.
Un PDF limpio es fácil. Un estado de cuenta bancario escaneado es difícil. Un correo electrónico con cinco archivos adjuntos y tablas es aún más difícil. Con pgvector, tuvimos que solucionar cada debilidad en ese pipeline.
El costo se desplazó de nuestra factura de la nube a nuestro tiempo de ingeniería. El tiempo de ingeniería era nuestro recurso más limitado.
Comparación: • Documentos escaneados: Nosotros construimos el OCR con pgvector. Vertex se encarga de la mayor parte del procesamiento de documentos. • Preguntas sobre documentos: Nosotros diseñamos las consultas y el ranking con pgvector. Vertex proporciona búsqueda gestionada. • Ráfagas de archivos adjuntos: Postgres soporta la carga con pgvector. Vertex mantiene la carga fuera de nuestra base de datos principal. • Costo: pgvector tiene costos de servicio más bajos. Vertex tiene costos de ingeniería y mantenimiento más bajos.
pgvector es más barato como extensión de base de datos. Vertex es más barato como decisión de producto.
Vertex nos ayuda de cuatro maneras: • Menos infraestructura que gestionar. • Menos lógica de procesamiento de documentos que mantener. • Postgres se mantiene enfocado en las transacciones comerciales. • Escala a medida que crece nuestro volumen de documentos.
Vertex no es gratuito. Pero construir nuestro propio OCR, indexación y ranking también tiene un costo. Pagamos ese costo en semanas de ingeniería.
Usa pgvector si: • Tu volumen de datos es moderado. • Tus documentos ya son texto limpio. • Necesitas un filtrado SQL estricto. • Quieres una primera versión rápida y de bajo costo.
Nuestra lección es simple: Comienza con la herramienta que te ayude a aprender más rápido. Pasa a la herramienta que te ayude a operar mejor.
Fuente: https://dev.to/twio_ai/why-twio-chose-vertex-ai-search-over-pgvector-for-production-rag-51jm
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi