llama.cpp b10255 bổ sung hỗ trợ KV-cache được lượng tử hóa dựa trên SYCL, cho phép người dùng GPU Intel chạy các mô hình lớn hơn hoặc ngữ cảnh dài hơn với các định dạng Q4_0, Q8_0 và FP32. Thay đổi này hứa hẹn tốc độ suy luận cục bộ nhanh hơn đáng kể, một sự thúc đẩy quan trọng cho bất kỳ ai đang cố gắng duy trì khối lượng công việc AI tại chỗ (on-premise) mà không cần mua một dàn máy chỉ dành cho Nvidia.

Tại sao bản cập nhật llama.cpp lại quan trọng

Dự án llama.cpp từ lâu đã là công cụ mã nguồn mở hàng đầu để chạy các mô hình kiểu LLaMA trên nhiều loại phần cứng khác nhau. Phiên bản b10255 giới thiệu một triển khai SYCL của SDPA (scaled dot-product attention) thuộc oneDNN, hoạt động với các bộ nhớ đệm key-value (KV-cache) được lượng tử hóa. Việc lượng tử hóa giúp giảm kích thước bộ nhớ đệm, nhờ đó băng thông bộ nhớ và độ trễ được cải thiện đáng kể trên các GPU Intel hỗ trợ SYCL. Giờ đây, người dùng có thể chọn Q4_0, Q8_0 hoặc độ chính xác đầy đủ FP32, đánh đổi một chút độ chính xác để lấy sự gia tăng lớn về tốc độ và hiệu suất sử dụng bộ nhớ. Đối với các nhà phát triển đang xây dựng các trợ lý chat cục bộ hoặc các nguyên mẫu nghiên cứu, khả năng nén nhiều ngữ cảnh hơn vào cùng một GPU có thể là ranh giới giữa một bản demo khả thi và một thử nghiệm bị đình trệ.

Các tùy chọn mô hình mới trên Hugging Face

Hai mô hình đã xuất hiện trên Hugging Face phù hợp với trọng tâm hiệu suất của bản cập nhật llama.cpp.

  • DeepSeek-V4-Flash-0731 lấy tốc độ làm điểm bán hàng chính. Kiến trúc của nó được tinh chỉnh để phục vụ các ứng dụng chat cục bộ phản hồi nhanh trên các GPU phân khúc tiêu dùng, khiến nó trở thành một sự kết hợp tự nhiên với quy trình tăng tốc bằng SYCL mới.
  • KAT-Coder-V2.5-Dev sử dụng thiết kế Mixture of Experts, phân bổ các mạng con chuyên gia riêng biệt cho các tác vụ lập trình và hành vi tác nhân tự trị. Tính mô-đun của mô hình có thể hưởng lợi từ cửa sổ ngữ cảnh lớn hơn mà các KV-cache được lượng tử hóa mang lại.

Cả hai mô hình đều mở rộng các lựa chọn cho các nhà phát triển muốn tránh xa đám mây nhưng vẫn cần các khả năng cập nhật nhất.

Cập nhật trình điều khiển (driver) và bộ lập lịch GPU

Trong khi llama.cpp mở ra cánh cửa cho GPU Intel, người dùng Nvidia cũng không bị bỏ lại phía sau. Stack trình điều khiển Linux đã chuyển sang phiên bản 610.57.04, mang lại một loạt các bản sửa lỗi giúp cải thiện độ ổn định của CUDA trên các kernel gần đây. Về phía AMD, hệ sinh thái ROCm đã phát hành Spur, một bộ lập lịch công việc hướng tới tính toán hiệu năng cao và các khối lượng công việc AI. Spur hứa hẹn khả năng tận dụng tốt hơn trên các cụm GPU, một tính năng có thể quan trọng đối với các nhóm đang chạy nhiều tác vụ suy luận đồng thời.

Áp lực giá cả lên các GPU cao cấp

Đồng thời, thị trường card đồ họa hàng đầu đang trở nên thắt chặt. Các báo cáo cho thấy dòng RTX 50 sắp tới có thể thấy mức giá tăng khoảng 30% so với mức hiện tại. Ví dụ, RTX 5090 có thể vượt ngưỡng 5.100 USD, do chi phí bộ nhớ GDDR7 và công suất tấm wafer của quy trình mới nhất từ TSMC. Đối với các phòng thí nghiệm nhỏ và những người đam mê, chi phí tăng cao buộc họ phải xem xét kỹ hơn các lựa chọn thay thế như GPU Intel hoặc AMD, đặc biệt là khi llama.cpp hiện đã có thể khai thác hiệu quả hơn từ chúng.

Những điều cần theo dõi tiếp theo

  • Các bản phát hành llama.cpp tiếp theo – các bản vá sắp tới có thể mở rộng hỗ trợ SYCL cho các sơ đồ lượng tử hóa bổ sung hoặc thêm các kernel độ chính xác hỗn hợp.
  • Độ ổn định của trình điều khiển – những người dùng sớm nên theo dõi việc triển khai bản 610.57.04 của Nvidia để xem có bất kỳ lỗi hồi quy nào có thể làm mất đi các lợi ích về hiệu suất hay không.
  • Việc áp dụng bộ lập lịch của AMD – tác động của Spur sẽ trở nên rõ ràng hơn khi có nhiều cụm máy tính hơn kích hoạt nó và báo cáo các chỉ số sử dụng.
  • Xu hướng giá GPU – nếu mức giá của dòng RTX 50 được giữ vững, chúng ta có thể thấy một sự chuyển dịch sang phần cứng Intel hoặc AMD tiết kiệm chi phí hơn cho các khối lượng công việc suy luận.

Bản cập nhật llama.cpp b10255 cho thấy các công cụ mã nguồn mở có thể bắt kịp với những tiến bộ phần cứng, nhưng hệ sinh thái rộng lớn hơn—bao gồm các mô hình, trình điều khiển và giá cả—sẽ quyết định liệu các nhà phát triển có thực sự đủ khả năng để duy trì việc chạy cục bộ hay không.