Whisper เทียบกับ API: เมื่อโมเดล “ฟรี” กลายเป็นรายการค่าใช้จ่ายที่แพงที่สุด

ทีมของคุณเห็นบิลค่าใช้จ่ายของ AssemblyAI แล้วมีใครบางคนถามว่า: "ทำไมเราไม่โฮสต์ Whisper เองล่ะเพื่อประหยัดเงิน?"

ฟังดูเหมือนง่าย แค่ดาวน์โหลด checkpoint รันคำสั่งเดียว ก็เสร็จภายในบ่ายวันเดียว

แต่คำถามที่แท้จริงคือ: ต้นทุนในการรัน endpoint นั้นต่อเนื่องไปอีกสองปีข้างหน้าคือเท่าไหร่?

ทำไมบิลค่า API ถึงดูเหมือนราคาถูก

บริการถอดความแบบจัดการให้ (Managed transcription services) คิดค่าบริการตามวินาทีของเสียงที่ประมวลผล ตัวอย่างเช่น AssemblyAI คิดค่าบริการประมาณ $0.15 – $0.21 ต่อทุกๆ หนึ่งชั่วโมงของเนื้อหาที่ผ่าน asynchronous pipeline ของเขา ตัวเลขเหล่านี้ซ่อนงานอีกมากมายไว้เบื้องหลัง: ผู้ให้บริการต้องดูแลรักษาฮาร์ดแวร์สำหรับการประมวลผล (inference hardware), ทำความสะอาดเสียงที่มีเสียงรบกวน, แยกแยะผู้พูด, จัดรูปแบบข้อมูลสำคัญ (เช่น หมายเลขบัตรเครดิต, อีเมล, รหัสยืนยัน), สตรีมผลลัพธ์แบบเรียลไทม์ และเฝ้าระวังบริการตลอด 24 ชั่วโมงทุกวัน ใบแจ้งหนี้ที่คุณได้รับคือผลรวมของสิ่งเหล่านั้นทั้งหมด ซึ่งถูกมัดรวมมาเป็นอัตราค่าบริการต่อวินาทีที่เข้าใจง่าย

ราคา GPU หมายถึงอะไรกันแน่

Whisper Large-v3 สามารถรันบน GPU รุ่น A100 หรือ H100 เพียงตัวเดียวได้ ผู้ให้บริการคลาวด์เสนอราคาการ์ดเหล่านี้อยู่ที่ประมาณ $2 – $4 ต่อชั่วโมงแบบ on-demand แต่ประเด็นสำคัญคือคุณต้องจ่ายราคาเต็มต่อชั่วโมงแม้ว่าชิปจะไม่ได้ทำงานเลยก็ตาม หากปริมาณงานของคุณใช้ความสามารถของ GPU เพียง 15% คุณก็ยังต้องแบกรับค่าใช้จ่ายเต็มจำนวนที่ $2 – $4 อยู่ดี

หนี้ทางวิศวกรรม (Engineering debt) ที่คุณต้องแบกรับ

การโฮสต์เองไม่ได้จบลงแค่การรัน model checkpoint งานที่ซ่อนอยู่จะเพิ่มขึ้นอย่างรวดเร็วจนแซงหน้าค่าฮาร์ดแวร์ที่เห็นเด่นชัด

  • Speaker diarization (การแยกแยะผู้พูด) – Whisper แบบ open-source ไม่สามารถแยกเสียงผู้พูดได้ การสร้าง pipeline สำหรับ diarization ที่เชื่อถือได้จำเป็นต้องใช้โมเดลแยกต่างหาก, ข้อมูล และการปรับจูนอย่างต่อเนื่อง
  • การรองรับการสตรีม (Streaming support) – Whisper ประมวลผลไฟล์ทั้งไฟล์แบบ asynchronous การทำคำบรรยายแบบเรียลไทม์หรือการตอบโต้ของ voice-agent จำเป็นต้องมีเลเยอร์การสตรีมที่ปรับแต่งเอง พร้อมทั้งการจัดการ back-pressure และการตรวจสอบความหน่วง (latency monitoring)
  • การจัดรูปแบบข้อมูลสำคัญ (Entity formatting) – ข้อความถอดความดิบๆ (Raw transcripts) ขาดตรรกะในการปกปิด (mask) หรือจัดรูปแบบข้อมูลที่ละเอียดอ่อนใหม่ การเพิ่มกฎสำหรับหมายเลขบัตรเครดิต, ที่อยู่อีเมล หรือรหัส OTP เป็นงานทางวิศวกรรมที่ไม่ง่ายเลย และความผิดพลาดเพียงจุดเดียวอาจทำให้ข้อความถอดความนั้นใช้งานไม่ได้
  • วิศวกรรมความน่าเชื่อถือ (Reliability engineering) – การทำเดโมที่รันบน GPU ตัวเดียวนั้นง่าย แต่บริการระดับ production ต้องจัดการทั้งเรื่อง concurrency, การลองใหม่ (retries), การอัปเกรดแบบ zero-downtime และระบบแจ้งเตือน (alerting)

เมื่อไหร่ที่การโฮสต์เองจะคุ้มค่าจริงๆ

ตัวเลขจะเปลี่ยนไปก็ต่อเมื่ออยู่ในสถานการณ์เฉพาะบางอย่างเท่านั้น:

  • การประมวลผลแบบ batch ปริมาณมากและต่อเนื่อง – หากคุณมีไฟล์เสียงมากพอที่จะทำให้ GPU ทำงานเกือบ 100% ต่อเนื่องกันหลายเดือน ค่าฮาร์ดแวร์ต่อชั่วโมงจะสามารถนำมาเฉลี่ย (amortized) กับปริมาณการถอดความมหาศาล ทำให้ต้นทุนต่อไฟล์เสียงต่ำกว่าอัตราค่าบริการ API
  • ข้อกำหนดด้านความเป็นส่วนตัวของข้อมูลที่เข้มงวด – กฎระเบียบที่ห้ามไม่ให้ไฟล์เสียงออกนอกพื้นที่ของคุณ บังคับให้คุณต้องประมวลผลภายในองค์กรเท่านั้น ไม่ว่าต้นทุนจะเป็นอย่างไรก็ตาม
  • การควบคุมโมเดลอย่างเต็มรูปแบบเพื่อการทำต้นแบบ (Prototyping) – การทดลองในระยะเริ่มต้นที่ต้องการปรับแต่งสถาปัตยกรรมของ Whisper, prompts หรือการทำ fine-tune ด้วยข้อมูลที่เป็นกรรมสิทธิ์ของตนเอง จะได้รับประโยชน์จากการเป็นเจ้าของ checkpoint โดยตรง

นอกเหนือจากกรณีเหล่านี้ โมเดลที่ "ฟรี" จะกลายเป็นรายการค่าใช้จ่ายที่แพงที่สุด เพราะหนี้ทางวิศวกรรมที่ซ่อนอยู่และเวลาที่ GPU ถูกปล่อยทิ้งไว้โดยไม่ได้ใช้งาน จะแซงหน้าค่าธรรมเนียม API ต่อวินาทีที่ดูเหมือนจะน้อยนิดไปอย่างรวดเร็ว

สรุป: ค่าธรรมเนียมลิขสิทธิ์ที่เป็นศูนย์ของ Whisper นั้นดูน่าดึงดูด แต่ต้นทุนการเป็นเจ้าของทั้งหมด (Total cost of ownership) นั้นรวมถึงราคา GPU, เวลาที่เครื่องว่างงาน และชุดงานทางวิศวกรรมที่ทีมส่วนใหญ่มักจะจ้างบริการภายนอกผ่าน transcription APIs อยู่แล้ว การโฮสต์เองจะกลายเป็นเส้นทางที่ถูกกว่าก็ต่อเมื่อคุณสามารถใช้ฮาร์ดแวร์ได้อย่างเต็มประสิทธิภาพ, จำเป็นต้องเก็บข้อมูลไว้ในพื้นที่ (on-prem), หรือต้องการการควบคุมโมเดลอย่างลึกซึ้งเท่านั้น มิฉะนั้น โมเดลที่ "ฟรี" ก็น่าจะเป็นส่วนที่แพงที่สุดในงบประมาณการถอดความของคุณ