La magia de los embeddings
Los embeddings convierten el lenguaje en matemáticas.
Son la base de la IA moderna. Muchas personas los tratan como una caja negra. Este post explica cómo funcionan.
La búsqueda por palabras clave falla cuando las palabras no coinciden.
Si buscas "¿Cómo restablezco mi contraseña?", una búsqueda por palabras clave buscará esas palabras exactas. Si un documento dice "Pasos para recuperar las credenciales de tu cuenta", la búsqueda podría fallar. Tú sabes que el significado es el mismo. Las computadoras no.
Los embeddings resuelven este problema.
Un embedding es una lista de números. Estos números representan el significado del texto. Un modelo de embeddings mapea las palabras en un espacio de alta dimensionalidad.
Una sola palabra como "cat" se convierte en un vector: [0.18, -0.42, 0.91, ...]
Los números por sí solos no significan nada. Lo que importa es la posición del vector.
Piensa en un mapa. Las ciudades que están cerca unas de otras comparten climas y fronteras similares. Los embeddings funcionan de la misma manera. El texto con significados similares se sitúa cerca uno del otro en el espacio vectorial.
- Perro y Gato se sitúan cerca uno del otro.
- Coche y Camión se sitúan cerca uno del otro.
- Coche y Perro se sitúan lejos el uno del otro.
La distancia entre estos puntos representa la similitud.
Esto permite la búsqueda semántica. Puedes encontrar información basándote en la intención en lugar de la ortografía.
Para comparar estos vectores, utilizamos la similitud de coseno. Esta métrica mide el ángulo entre dos vectores.
- Un ángulo pequeño significa una alta similitud.
- Un ángulo grande significa una baja similitud.
Los embeddings también impulsan la Generación Aumentada por Recuperación (RAG). En un pipeline de RAG, el proceso es el siguiente:
- Convertir documentos en vectores utilizando un modelo de embeddings.
- Almacenar los vectores en una base de datos vectorial.
- Convertir una consulta de usuario en un vector.
- Encontrar los vectores más cercanos en la base de datos.
- Enviar los documentos relevantes al LLM.
El LLM no busca en tus archivos directamente. Busca en el espacio de embeddings las coincidencias más cercanas.
Si construyes aplicaciones de IA, debes entender los embeddings. Ellos impulsan todo, desde motores de búsqueda hasta sistemas de recomendación. Su fuerza reside en cómo organizan el significado.
Fuente: https://dev.to/tahaboussaden/embeddings-magic-2hlb
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi