Một nhóm nghiên cứu đã xây dựng một bộ định tuyến (router) để quyết định xem liệu một mô hình ngôn ngữ giá rẻ có thể xử lý một yêu cầu lập trình hay không, với hy vọng cắt giảm chi phí suy luận (inference costs), nhưng bộ định tuyến này không thể vượt qua mức cơ sở "không bao giờ chuyển tiếp" (never-escalate). Thất bại này cho thấy tại sao các chỉ số tập trung vào độ chính xác lại gây hiểu lầm cho các mô hình phân tầng (cascades) và chỉ ra các tín hiệu thực sự có thể nắm bắt được độ khó.
Tại sao bộ định tuyến lại quan trọng
Các mô hình phân tầng (model cascades) gửi mỗi yêu cầu đến mô hình nhỏ nhất có thể trả lời chính xác yêu cầu đó. Nếu bộ định tuyến gửi một câu lệnh (prompt) đơn giản đến một mô hình giá rẻ, hệ thống sẽ bỏ qua việc tính toán tốn kém cần thiết cho một mô hình lớn hơn. Nhóm nghiên cứu đã huấn luyện một bộ định tuyến trên 539 tác vụ lập trình thực tế—428 tác vụ dễ và 111 tác vụ khó—với kỳ vọng nó sẽ học được khi nào mô hình giá rẻ là đủ dùng.
Những con số không như mong đợi
- AUC (diện tích dưới đường cong ROC) trên tập kiểm tra (held-out): 0.594
- Phạm vi kiểm chéo 5 lớp (5-fold cross-validation): 0.55 – 0.57
- Ngưỡng tốt nhất: khớp với chính sách "không bao giờ chuyển tiếp"
AUC trên tập kiểm tra là 0.594 và kiểm chéo dao động từ 0.55 đến 0.57, nghĩa là bộ phân loại hầu như không phân biệt được các trường hợp dễ và khó. Khi ngưỡng tối ưu tái hiện một chính sách không bao giờ sử dụng mô hình đắt tiền, bộ định tuyến không mang lại giá trị gì. Nó hoạt động giống như một bộ dự đoán hằng số thay vì một người đưa ra quyết định.
Các thí nghiệm đã kiểm tra những gì
Các nhà nghiên cứu đã so sánh ba bộ đặc trưng (feature sets):
| Bộ đặc trưng | AUC |
|---|---|
| 11 đặc trưng bề mặt đơn giản (ví dụ: số lượng token, sự hiện diện của từ khóa) | 0.610 |
| Nhúng câu lệnh (prompt embedding) 1024 chiều (vector ngữ nghĩa) | 0.552 |
| Kết hợp cả hai | 0.609 |
Thật ngạc nhiên, các đặc trưng bề mặt nhẹ nhàng lại vượt trội hơn so với việc nhúng ngữ nghĩa cao chiều. Việc nhúng đã nắm bắt được chủ đề của câu lệnh nhưng không nắm bắt được độ khó nội tại của nó. Việc đưa bản nháp của mô hình giá rẻ vào bộ định tuyến đã nâng AUC lên 0.640, cho thấy các tín hiệu xuất hiện trong quá trình tạo (generation) mang lại nhiều thông tin hơn là chỉ dựa vào câu lệnh ban đầu.
Hai sai lầm cơ bản
1. Độ chính xác là thước đo sai lầm
Một bộ định tuyến phải cải thiện sự đánh đổi giữa chi phí và độ chính xác so với một chính sách ngây thơ, chứ không chỉ đơn thuần là dự đoán tính đúng đắn. Nếu nó không thể vượt qua mức "không bao giờ chuyển tiếp", nó sẽ không mang lại lợi ích về chi phí, bất kể độ chính xác thô là bao nhiêu. Các chỉ số truyền thống như AUC đã bỏ qua khía cạnh kinh tế của một mô hình phân tầng.
2. "Luôn luôn chuyển tiếp" không phải là mức trần
Thí nghiệm giả định rằng mô hình đắt tiền là không thể sai lầm, coi việc "luôn luôn sử dụng mô hình lớn" là giới hạn trên. Trong thực tế, mô hình lớn hơn đôi khi làm hỏng các câu trả lời mà mô hình giá rẻ đã làm đúng. Một bộ định tuyến hoàn hảo biết khi nào nên giữ lại mô hình giá rẻ có thể vượt qua mức cơ sở "luôn luôn chuyển tiếp" khoảng 4,2 điểm trong chỉ số chi phí được chọn. Khoảng cách này cho thấy mức trần hiệu suất của mô hình đắt tiền thấp hơn so với dự đoán.
Thiết kế các tín hiệu định tuyến tốt hơn
Các phát hiện gợi ý ba hướng thực tế:
- Bao gồm các manh mối trong thời gian tạo. Việc đưa đầu ra trung gian của mô hình giá rẻ (bản nháp của nó) vào bộ định tuyến giúp nắm bắt được độ khó mà chỉ riêng câu lệnh không thể hiện được.
- Ưu tiên các đặc trưng bề mặt đặc thù cho tác vụ. Các chỉ số đơn giản—như độ dài, sự hiện diện của các toán tử nhất định hoặc các dấu hiệu phong cách mã nguồn—có thể có khả năng dự đoán tốt hơn các vector nhúng ngữ nghĩa chung chung.
- Đo lường thành công bằng các chỉ số nhận biết chi phí. Thay vì chỉ dùng độ chính xác thuần túy hoặc AUC, hãy đánh giá xem có bao nhiêu lượt gọi mô hình đắt tiền được tránh được trong khi vẫn duy trì được mức chất lượng mục tiêu.
Bài học rút ra: Một bộ định tuyến chỉ tối ưu hóa cho độ chính xác thì không thể đảm bảo tiết kiệm chi phí; việc định tuyến hiệu quả đòi hỏi các bằng chứng trong thời gian tạo và việc đánh giá có tính đến chi phí.