GPT ทำได้มากกว่าที่คุณคิด

โมเดล GPT กำลังเปลี่ยนวิธีการทำงานกับข้อความของเรา

การเดินทางเริ่มต้นด้วย GPT-1 ซึ่งแสดงให้เห็นว่าเครื่องจักรสามารถเขียนประโยคที่สอดคล้องกันได้ ต่อมาคือ GPT-2 ที่แสดงให้เห็นถึงศักยภาพอันมหาศาลของโมเดลเหล่านี้ และเมื่อ GPT-3 มาถึง ด้วยพารามิเตอร์ถึง 1.75 แสนล้านตัว มันได้พิสูจน์ว่าโมเดลสามารถทำได้มากกว่าแค่การเติมประโยคให้สมบูรณ์

เคล็ดลับอยู่ที่สถาปัตยกรรม Transformer ซึ่งเรียนรู้รูปแบบจากข้อมูลจำนวนมหาศาล คุณไม่จำเป็นต้องเขียนโปรแกรมกำหนดทุกกฎเกณฑ์ แต่สามารถทำ fine-tune เพื่อใช้งานเฉพาะด้าน หรือใช้ภาษาธรรมชาติในการสั่งการได้

แต่การนำโมเดลเหล่านี้ไปใช้งานจริง (production) นั้นเป็นเรื่องยาก

ค่าความหน่วง (latency) ที่สูงสามารถทำลายประสบการณ์ของผู้ใช้ได้ เราเคยรันโมเดลขนาดใหญ่บน Nvidia H100 GPU จำนวน 64 ตัว แต่มีความล่าช้าถึง 120ms ซึ่งช้าเกินไปสำหรับความต้องการของเรา เราจึงเปลี่ยนมาใช้โมเดลขนาดเล็กที่มีพารามิเตอร์ 6 พันล้านตัวโดยใช้ LoRA ซึ่งช่วยลดความหน่วงลงเหลือเพียง 38ms และยังช่วยประหยัดเงินได้ถึง 30,000 ดอลลาร์ต่อเดือน แม้ว่าความแม่นยำในการเขียนโค้ดจะลดลงบ้าง แต่ความเร็วและต้นทุนที่ประหยัดได้ก็ถือว่าคุ้มค่า

คุณต้องระวังเรื่องอคติ (biases) ด้วยเช่นกัน เนื่องจาก GPT เรียนรู้รูปแบบจากอินเทอร์เน็ต นั่นหมายความว่ามันอาจจะผลิตซ้ำภาพจำที่ผิดๆ (stereotypes) หรือข้อผิดพลาดทางข้อเท็จจริงได้ และมันมักจะตอบด้วยความมั่นใจแม้ว่าสิ่งที่พูดจะผิดก็ตาม

เราได้สร้าง data pipeline เพื่อตรวจจับข้อผิดพลาดเหล่านี้ โดยใช้ rule engine เพื่อระบุภาษาที่มีอคติ ในช่วงแรก การระบุของเราผิดพลาดถึง 4% เราจึงแก้ไขโดยการเพิ่มโมเดลตรวจสอบ (validation model) ขนาดเล็กเข้าไป ซึ่งช่วยลดอัตราข้อผิดพลาดลงจนต่ำกว่า 1%

ต้นทุนและพลังงานก็เป็นอุปสรรคสำคัญเช่นกัน

การฝึกฝนโมเดลขนาดใหญ่ต้องใช้เงินหลายล้านดอลลาร์ เราจึงใช้ quantization เพื่อลดต้นทุน โดยการใช้ 4-bit quantization ช่วยให้เราลดต้นทุนต่อ token จาก 0.00015 ดอลลาร์ เหลือเพียง 0.00004 ดอลลาร์ สำหรับผลิตภัณฑ์ SaaS ขนาดใหญ่ สิ่งนี้ช่วยประหยัดเงินได้ถึง 3 ล้านดอลลาร์ต่อปี

อนาคตกำลังมุ่งไปสู่ประสิทธิภาพ แทนที่จะเน้นแค่การทำให้โมเดลใหญ่ขึ้น นักพัฒนาเริ่มทำให้โมเดลฉลาดขึ้นและมีขนาดเล็กลง เราต้องการโมเดลที่ทำงานเร็ว ราคาถูก และซื่อสัตย์ต่อสิ่งที่พวกมันไม่รู้

จงใช้เครื่องมือเหล่านี้อย่างชาญฉลาด เข้าใจข้อจำกัดของมัน และสร้าง guardrails เพื่อให้พวกมันยังคงเป็นประโยชน์เสมอ

Source: https://dev.to/lavkeshdwivedi/gpt-does-more-than-you-think-fll

Optional learning community: https://t.me/GyaanSetuAi