Gọi công cụ dựa trên Prompt cho các LLM mã nguồn mở nhẹ

Các mô hình lớn như GPT-4 hoạt động rất tốt. Tuy nhiên, chúng đòi hỏi nhu cầu tính toán cao.

Các mô hình mã nguồn mở nhỏ thường gặp khó khăn với các suy luận phức tạp. Bạn cần những GPU khổng lồ để chạy các mô hình lớn.

Tôi đã nghiên cứu một phương pháp giúp các mô hình nhỏ sử dụng công cụ thông qua các prompt có cấu trúc. Nghiên cứu này có tiêu đề Prompt-Driven Tool-Calling for Lightweight Open Source LLMs.

Vấn đề:

  • Các mô hình nhỏ thiếu kỹ năng suy luận.
  • Việc chạy các mô hình lớn rất tốn kém.
  • Chúng ta cần các agent hiệu quả có thể chạy trên phần cứng ít hơn.

Giải pháp: Đừng ép buộc các mô hình phải ghi nhớ mọi thứ. Hãy sử dụng prompt để biến mô hình thành một bộ điều khiển.

Cách thức hoạt động: Prompt hướng dẫn mô hình:

  • Hiểu ý định của bạn.
  • Chia nhỏ vấn đề thành các bước.
  • Chọn một công cụ thay vì đoán mò.

Quy trình làm việc tuân theo các bước sau: Câu hỏi của người dùng $\rightarrow$ LLM $\rightarrow$ Chọn công cụ $\rightarrow$ Thực thi công cụ $\rightarrow$ Câu trả lời cuối cùng.

Mô hình sử dụng các công cụ như máy tính để đưa ra các thông tin chính xác.

Lợi ích chính:

  • Các mô hình nhỏ hoạt động như các agent thông minh.
  • AI trở nên dễ tiếp cận hơn.
  • Trí thông minh phụ thuộc vào thiết kế hệ thống thay vì kích thước mô hình.

Chúng ta nên mở rộng việc tích hợp công cụ thay vì chỉ mở rộng số lượng tham số.

Công trình này được công bố tại AIS2C2 2025.

Nguồn: https://www.aiscindia.co.in/wp-content/uploads/2026/06/ilovepdf_merged-4.pdf

Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi