Embeddings einfach erklärt
Computer lieben Zahlen. Sie hassen Bedeutung.
Für einen Computer sind die Wörter „happy“ und „joyful“ nur unterschiedliche Buchstaben. Er weiß nicht, dass diese Wörter dasselbe Gefühl teilen.
Embeddings lösen dieses Problem. Sie verwandeln Wörter in Listen von Zahlen. Diese Zahlen fungieren wie GPS-Koordinaten für die Bedeutung.
Wenn man Wörter in Zahlen umwandelt, landen ähnliche Wörter nah beieinander auf einer digitalen Karte.
- „Dog“ und „puppy“ haben nahe beieinander liegende Koordinaten.
- „Dog“ und „democracy“ haben weit voneinander entfernte Koordinaten.
Ein Vektor ist einfach eine geordnete Liste von Zahlen. "king" → [0.21, -0.44, 0.88] "queen" → [0.19, -0.41, 0.85]
Echte Modelle verwenden Tausende dieser Zahlen für ein einziges Wort. Man muss sie nicht alle sehen. Man muss nur wissen, wie nah zwei Punkte beieinander liegen.
Wir verwenden die Cosinus-Ähnlichkeit, um diese Nähe zu messen.
- Punkte in die gleiche Richtung = stark verwandt.
- Punkte im rechten Winkel = nicht verwandt.
Das verwandelt Bedeutung in Geometrie. Man kann sogar mit Wörtern rechnen.
Wenn man den Vektor für „king“ nimmt, „man“ subtrahiert und „woman“ addiert, landet man nahe bei „queen“. Das Modell lernt diese Muster durch das Lesen von Milliarden von Sätzen.
Diese Mathematik treibt die KI-Tools an, die Sie jeden Tag nutzen:
- Semantische Suche: Ergebnisse nach Bedeutung statt nach exakten Schlüsselwörtern finden.
- Empfehlungen: Vorschlagen von Produkten oder Songs basierend auf ähnlichen Vektoren.
- RAG: Hilft der KI, Fakten in Ihren Dokumenten zu finden, um Fragen zu beantworten.
- Clustering: Automatisches Gruppieren ähnlicher Elemente.
Man berechnet diese Zahlen nicht selbst. Man sendet Text an ein Modell, und es gibt den Vektor zurück. Diese Vektoren speichert man dann in einer Vektordatenbank, um sie zu durchsuchen.
Embeddings verwandeln das Mysterium der Sprache in die Logik der Geometrie.
Probieren Sie die Meaning Map aus, um zu sehen, wie Wörter verknüpft sind: https://dev48v.infy.uk/ai/days/day3-embeddings.html
Alle Konzepte: https://dev48v.infy.uk/aifromzero.php
Quelle: https://dev.to/dev48v/embeddings-explained-simply-how-ai-turns-words-into-a-map-of-meaning-36f4