ค่าใช้จ่ายในการรวม AI ของผมสูงเกินไป จนกระทั่งผมเปลี่ยนวิธีการทำงาน
ผมสร้างเครื่องมือสำหรับสรุปบทความยาวๆ ผมใช้ GPT-4 เพื่อให้มันทำงานได้ ผลสรุปที่ได้นั้นยอดเยี่ยมมาก แต่ค่าใช้จ่ายพุ่งสูงถึง $1,200 ภายในเดือนเดียว
ค่าใช้จ่ายนั้นสูงเกินไปสำหรับโปรเจกต์ของผม ผมมีทางเลือกสามทาง คือ แก้ไขเรื่องต้นทุน หรือไม่ก็ยกเลิกฟีเจอร์นี้ไปเลย
ผมลองเปลี่ยนไปใช้ GPT-3.5 ราคาลดลงจริง แต่คุณภาพก็ลดลงด้วยเช่นกัน บทสรุปที่ได้เริ่มคลุมเครือและพลาดข้อเท็จจริงที่สำคัญไป
ผมลองลดขนาดข้อความที่ป้อนเข้าไป โดยใช้ local libraries เพื่อเลือกประโยคที่สำคัญออกมาก่อน วิธีนี้ช่วยได้บ้าง แต่ต้นทุนก็ยังสูงอยู่ดี เพราะโมเดลขนาดเล็กยังคงทำงานผิดพลาดเมื่อต้องจัดการกับข้อความยาวๆ
จากนั้นผมก็พบวิธีที่ดีกว่า ผมเลิกใช้โมเดลขนาดใหญ่เพียงตัวเดียวสำหรับทุกอย่าง และเริ่มใช้กระบวนการแบบสองขั้นตอน (two-step pipeline) แทน
ขั้นตอนที่ 1: ขั้นตอนการดึงข้อมูล (Extractive phase) ใช้เครื่องมือที่ราคาถูกและรวดเร็วเพื่อเลือกประโยคที่สำคัญที่สุด 5 ถึง 10 ประโยคจากบทความ วิธีนี้จะช่วยตัดข้อความออกไปได้ถึง 90%
ขั้นตอนที่ 2: ขั้นตอนการสรุปความ (Abstractive phase) ส่งเฉพาะประโยคไม่กี่ประโยคนั้นไปยัง API ขนาดเล็กที่มีราคาถูก แล้วสั่งให้มันรวมประโยคเหล่านั้นเข้าด้วยกันเป็นบทสรุปที่อ่านง่าย
การเปลี่ยนแปลงนี้ช่วยลดต้นทุนของผมลงได้ถึง 80% ในขณะที่คุณภาพยังคงใกล้เคียงกับ GPT-4 การเรียกใช้ API มีขนาดเล็กลงและราคาถูกลงมาก
ผมยังได้เรียนรู้บทเรียนสำคัญสองประการ:
ใช้การทำ Caching หากมีผู้ใช้หลายคนอ่านบทความเดียวกัน อย่ารันกระบวนการซ้ำ ให้บันทึกผลลัพธ์เอาไว้
ใช้การแบ่งชั้น (Layers) คุณไม่จำเป็นต้องใช้โมเดลหนักๆ เสมอไป ให้แบ่งงานที่ซับซ้อนออกเป็นขั้นตอนย่อยๆ ที่ราคาถูกแทน
คุณสร้างสมดุลระหว่างคุณภาพของ AI และต้นทุนในโปรเจกต์ของคุณอย่างไร? คุณใช้โมเดลที่แตกต่างกันสำหรับขั้นตอนที่ต่างกันหรือไม่?
แหล่งที่มา: https://dev.to/__c1b9e06dc90a7e0a676b/my-ai-integration-had-terrible-costs-until-i-changed-my-approach-pml
ชุมชนแห่งการเรียนรู้ (ไม่บังคับ): https://t.me/GyaanSetuAi