Penjelasan Mudah Tentang Embeddings
Komputer sukakan nombor. Mereka tidak faham makna.
Bagi komputer, perkataan "happy" dan "joyful" hanyalah huruf-huruf yang berbeza. Ia tidak tahu bahawa perkataan-perkataan ini berkongsi perasaan yang sama.
Embeddings menyelesaikan masalah ini. Ia menukarkan perkataan kepada senarai nombor. Nombor-nombor ini bertindak seperti koordinat GPS untuk makna.
Apabila anda menukarkan perkataan kepada nombor, perkataan yang serupa akan berada berdekatan antara satu sama lain dalam peta digital.
- "Dog" dan "puppy" mempunyai koordinat yang berdekatan.
- "Dog" dan "democracy" mempunyai koordinat yang jauh berbeza.
Vektor hanyalah satu senarai nombor yang tersusun. "king" → [0.21, -0.44, 0.88] "queen" → [0.19, -0.41, 0.85]
Model sebenar menggunakan beribu-ribu nombor ini untuk satu perkataan. Anda tidak perlu melihat kesemuanya. Anda hanya perlu tahu betapa dekatnya dua titik tersebut.
Kita menggunakan kesamaan kosinus (cosine similarity) untuk mengukur kedekatan ini.
- Titik dalam arah yang sama = sangat berkaitan.
- Titik pada sudut tegak = tidak berkaitan.
Ini menukarkan makna kepada geometri. Anda malah boleh melakukan pengiraan matematik dengan perkataan.
Jika anda mengambil vektor untuk "king," tolak "man," dan tambah "woman," anda akan mendarat berdekatan dengan "queen." Model mempelajari corak ini daripada membaca berbilion-bilion ayat.
Matematik ini memacu alatan AI yang anda gunakan setiap hari:
- Carian semantik (Semantic search): Mencari hasil berdasarkan makna dan bukannya kata kunci yang tepat.
- Cadangan (Recommendations): Mencadangkan produk atau lagu berdasarkan vektor yang serupa.
- RAG: Membantu AI mencari fakta dalam dokumen anda untuk menjawab soalan.
- Pengelompokan (Clustering): Mengumpulkan item yang serupa secara automatik.
Anda tidak mengira nombor-nombor ini sendiri. Anda menghantar teks kepada model dan ia akan mengembalikan vektor tersebut. Anda kemudian menyimpan vektor-vektor ini dalam pangkalan data vektor (vector database) untuk mencarinya.
Embeddings menukarkan misteri bahasa kepada logik geometri.
Cuba Meaning Map untuk melihat bagaimana perkataan berhubung: https://dev48v.infy.uk/ai/days/day3-embeddings.html
Semua konsep: https://dev48v.infy.uk/aifromzero.php
Sumber: https://dev.to/dev48v/embeddings-explained-simply-how-ai-turns-words-into-a-map-of-meaning-36f4