Một bài kiểm tra hiệu năng (benchmark) của năm tác nhân LLM chạy cục bộ trên một card RTX 5090 duy nhất cho thấy một mô hình hỗn hợp chuyên gia (MoE) với 35 tỷ tham số đã vượt xa các đối thủ trong một tác vụ lập trình thực tế. Bài kiểm tra này, với yêu cầu thêm một Tag Manager vào một bảng điều khiển quản trị (admin panel) có sẵn mà không sử dụng bất kỳ API đám mây nào, đã đưa Qwen 3.6 35B-A3B trở thành người chiến thắng rõ rệt.

Tại sao bài kiểm tra này lại quan trọng

Việc chạy các mô hình ngôn ngữ lớn trên phần cứng cá nhân cho phép các nhà phát triển tránh được phí API và những lo ngại về quyền riêng tư dữ liệu. Tuy nhiên, "tác nhân cục bộ" (local agents) vẫn chỉ là một thuật ngữ thời thượng: liệu chúng có thực sự có thể chỉnh sửa tệp, gọi các công cụ dòng lệnh và xuất ra mã nguồn sẵn sàng cho môi trường thực tế (production-ready) mà không cần con người cầm tay chỉ việc? Sự so sánh thực tế này, khi loại bỏ hoàn toàn các dịch vụ đám mây, mang lại cho các nhà phát triển một cái nhìn cụ thể về vị thế hiện tại của công nghệ này.

Phần cứng và tác vụ

Cả năm mô hình đều chạy trên cùng một máy trạm: một GPU RTX 5090, một loại card đồ họa cao cấp phổ biến cho người dùng, và không có dịch vụ bên ngoài nào. Tác vụ được thiết kế có chủ đích là đơn giản nhưng mang tính đại diện – thêm một thành phần Tag Manager vào một phần quản trị đã được xây dựng sẵn. Để thành công, mô hình cần phải xác định đúng các tệp nguồn, chỉnh sửa chúng và xác minh rằng tính năng mới được tích hợp mà không làm hỏng các chức năng hiện có.

Hiệu suất của các mô hình

  • Qwen 3.6 35B-A3B (MoE) – Hoàn thành công việc một cách tự chủ, thêm vào các cải tiến hợp lý dù không được yêu cầu, và không cần bất kỳ bản vá lỗi nào sau khi chạy.
  • Qwen 3.6 27B (dense) – Hoàn thành tác vụ nhưng mất số bước tương tác nhiều gấp đôi và đôi khi hiểu sai các hướng dẫn.
  • GLM-4.7-Flash (dense) – Tạo ra một bản triển khai hoạt động được nhưng sử dụng các mẫu khớp tệp không chính xác và bỏ qua các bước kiểm tra bảo mật, khiến mã nguồn dễ bị tổn thương.
  • Qwythos-9B – Không thực thi bất