𝗘𝗺𝗯𝗲𝗱𝗱𝗶𝗻𝗴𝘀 𝗘𝗲𝗻𝘃𝗼𝗼𝗱𝗲𝗹𝗱 𝗨𝗶𝘁𝗴𝗲𝗹𝗲𝗴𝗱
Computers houden van getallen. Ze haten betekenis.
Voor een computer zijn de woorden "blij" en "gelukkig" slechts verschillende letters. Ze weten niet dat deze woorden eenzelfde gevoel delen.
Embeddings lossen dit probleem op. Ze zetten woorden om in lijsten met getallen. Deze getallen werken als GPS-coördinaten voor betekenis.
Wanneer je woorden omzet in getallen, komen vergelijkbare woorden dicht bij elkaar te liggen op een digitale kaart.
- "Hond" en "puppy" hebben nabijgelegen coördinaten.
- "Hond" en "democratie" hebben ver uit elkaar liggende coördinaten.
Een vector is simpelweg een geordende lijst met getallen. "koning" → [0.21, -0.44, 0.88] "koningin" → [0.19, -0.41, 0.85]
Echte modellen gebruiken duizenden van deze getallen voor één woord. Je hoeft ze niet allemaal te zien. Je hoeft alleen maar te weten hoe dicht twee punten bij elkaar liggen.
We gebruiken cosine similarity om deze nabijheid te meten.
- Punten in dezelfde richting = sterk gerelateerd.
- Punten in een rechte hoek = niet gerelateerd.
Dit verandert betekenis in geometrie. Je kunt zelfs rekenen met woorden.
Als je de vector voor "koning" neemt, "man" ervan aftrekt en "vrouw" optelt, kom je uit bij "koningin". Het model leert deze patronen door miljarden zinnen te lezen.
Deze wiskunde vormt de basis voor de AI-tools die je dagelijks gebruikt:
- Semantisch zoeken: Resultaten vinden op basis van betekenis in plaats van exacte trefwoorden.
- Aanbevelingen: Producten of nummers suggereren op basis van vergelijkbare vectoren.
- RAG: AI helpen feiten in je documenten te vinden om vragen te beantwoorden.
- Clustering: Het automatisch groeperen van vergelijkbare items.
Je berekent deze getallen niet zelf. Je stuurt tekst naar een model en het geeft de vector terug. Vervolgens sla je deze vectoren op in een vector database om ze te kunnen doorzoeken.
Embeddings veranderen het mysterie van taal in de logica van geometrie.
Probeer de Meaning Map om te zien hoe woorden verbonden zijn: https://dev48v.infy.uk/ai/days/day3-embeddings.html
Alle concepten: https://dev48v.infy.uk/aifromzero.php
Bron: https://dev.to/dev48v/embeddings-explained-simply-how-ai-turns-words-into-a-map-of-meaning-36f4