Diferentes métodos de chunking para RAG

Los modelos de lenguaje extensos (LLM) tienen límites de tokens. Para solucionar esto, se utiliza el chunking. El chunking divide el texto largo en piezas más pequeñas. Esto ayuda a que su modelo procese datos sin quedarse sin memoria.

Si utiliza la Generación Aumentada por Recuperación (RAG), el chunking es vital. El RAG proporciona a los modelos una fuente de verdad para evitar alucinaciones. Se convierte el texto en números llamados embeddings y se almacenan en una base de datos vectorial.

La calidad de su búsqueda depende de sus chunks. Si los chunks son demasiado grandes o demasiado pequeños, la IA no logrará encontrar la respuesta correcta.

Aquí hay cinco formas de realizar el chunking de sus datos:

  • Chunking de tamaño fijo (Fixed-Size Chunking) Este método divide el texto en un número determinado de caracteres. Es rápido y económico. Sin embargo, no tiene en cuenta el contexto. A menudo corta las oraciones por la mitad.

  • División recursiva de caracteres (Recursive Character Splitting) Este es el estándar de la industria. Utiliza una jerarquía de separadores como saltos de línea y espacios. Intenta mantener las oraciones relacionadas juntas en un solo bloque. Utilícelo para artículos generales.

  • Chunking específico de documentos (Document-Specific Chunking) Este método analiza la estructura de su archivo. Utiliza etiquetas HTML o encabezados de Markdown para encontrar los límites. Esto mantiene intactos el código o las secciones específicas.

  • Chunking semántico (Semantic Chunking) Este método se fija en el significado en lugar de en los caracteres. Agrupa oraciones que tratan el mismo tema. Crea fragmentos que se mantienen en un solo asunto. Requiere un modelo de embeddings para funcionar.

  • Chunking agéntico (Agentic Chunking) Un agente de IA lee el texto para decidir dónde dividirlo. El agente pregunta si una idea está completa antes de continuar. Este es el método más preciso, pero también el más lento y costoso.

Comparación rápida:

• Tamaño fijo: Mejor para prototipos. Muy fácil. Costo $0. • Recursivo: Mejor para texto general. Fácil. Costo $0. • Documento: Mejor para código o HTML. Dificultad media. Costo $0. • Semántico: Mejor para investigación profunda. Difícil. Bajo costo. • Agéntico: Mejor para alta precisión. Muy difícil. Alto costo.

Elegir la estrategia adecuada cambia los resultados de su IA. Pronto compartiré más detalles sobre estos métodos.

Fuente: https://dev.to/yashbhoskar/different-chunking-methods-for-rag-j4g

Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi