Google เปลี่ยนแปลงการสร้าง AI ไปตลอดกาล
โมเดล AI มาตรฐานจะสร้างข้อความทีละคำ ซึ่งวิธีนี้มีความล่าช้า เนื่องจากคำใหม่แต่ละคำต้องผ่านกระบวนการคำนวณผ่านเครือข่ายแบบเต็มรูปแบบ ส่งผลให้เกิดคอขวดในการทำงาน
Google DeepMind ได้สร้าง DiffusionGemma ขึ้นมาเพื่อแก้ปัญหานี้ โดยใช้เทคนิค discrete text diffusion ซึ่งทำงานด้วยการปรับปรุงข้อความขนาดใหญ่พร้อมกันในคราวเดียว
คุณสมบัติหลักของ DiffusionGemma:
- การสร้างแบบขนาน (Parallel Generation): โมเดลจะปรับปรุงข้อความทั้งบล็อกไปพร้อมๆ กัน โดยไม่ได้ทำงานไล่จากซ้ายไปขวา
- ความเร็วเพิ่มขึ้น 4 เท่า: Google รายงานว่ามีความเร็วเพิ่มขึ้นสูงสุดถึง 4 เท่าบน GPUs
- Mixture of Experts: โมเดลใช้พารามิเตอร์ 3.8B ต่อหนึ่งขั้นตอน จากโครงสร้างหลัก (backbone) ขนาด 26B พารามิเตอร์
โมเดลนี้ใช้สถาปัตยกรรมแบบ encoder-decoder โดยจะทำการแก้ไข token ต่างๆ บน digital canvas แบบเรียลไทม์
คุณสามารถเริ่มใช้งานได้แล้วตอนนี้ โดยใช้สัญญาอนุญาต Apache 2.0 และรองรับการทำงานร่วมกับ Hugging Face Transformers และ vLLM
โมเดลแบบ diffusion จะเข้ามาแทนที่การขยายขนาด AI แบบดั้งเดิมหรือไม่? หรือจะทำหน้าที่เพียงเพื่อตอบสนองความต้องการในการสร้างข้อความที่รวดเร็วเท่านั้น? ร่วมแบ่งปันความคิดเห็นของคุณ
Source: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io
Optional learning community: https://t.me/GyaanSetuAi