Tài liệu của bạn không làm tiêu tốn token — chính công cụ của bạn mới là nguyên nhân

Mọi người thường hỏi tôi liệu việc viết các tài liệu như PRD và đánh giá thiết kế (design reviews) có làm tiêu tốn quá nhiều token hay không.

Họ nghĩ rằng quy trình này quá nặng nề. Họ nghĩ rằng để AI viết mã trực tiếp sẽ rẻ hơn.

Họ đã lầm.

Việc có nhiều tài liệu và việc tiêu tốn nhiều token là hai chuyện hoàn toàn khác nhau. Tài liệu nằm trong thư mục của bạn. Bản thân chúng không tự tiêu tốn token. Chính những thói quen xấu của bạn mới làm tiêu tốn token.

Những "kẻ sát nhân" token thực sự là:

  • Phình to ngữ cảnh (Context bloat): Bạn duy trì một cuộc hội thoại suốt cả ngày. Bạn phải trả tiền cho hàng ngàn token lịch sử cũ mỗi khi đặt một câu hỏi mới.
  • Prompt mơ hồ: Bạn không nói rõ điều mình muốn. AI phải tự đoán. Bạn mất ba lượt để làm xong một việc mà chỉ cần một prompt rõ ràng là có thể hoàn thành.
  • Sử dụng công cụ kém: Bạn bắt AI đọc toàn bộ repo trong khi bạn chỉ thay đổi một tệp duy nhất.

Chi phí lớn nhất chính là việc phải làm lại (rework).

Nếu bạn không viết PRD, AI có thể hiểu sai yêu cầu của bạn. Sau đó, bạn sẽ tốn thêm nhiều token để viết lại, phá bỏ những gì đã làm và sửa chữa các phần bị lỗi.

Một bản PRD là chi phí một lần. Việc làm lại là một khoản nợ lãi kép.

Hãy sử dụng các phương pháp sau để tiết kiệm token thay vì cắt giảm tài liệu:

  • Thu gọn ngữ cảnh: Thường xuyên xóa lịch sử chat.
  • Phân tầng mô hình: Sử dụng các mô hình nhỏ, rẻ để tìm kiếm và đọc. Chỉ sử dụng các mô hình mạnh cho các tác vụ tư duy khó và lập trình.
  • Đọc tệp chính xác: Chỉ cung cấp cho AI những gì liên quan đến thay đổi hiện tại.
  • Sử dụng prompt caching: Điều này giúp giảm chi phí của bạn một cách đáng kể.
  • Sử dụng token proxy: Rút gọn đầu ra của các câu lệnh thông thường.
  • Song song hóa: Chạy các tác vụ độc lập cùng một lúc để giảm số lượt trao đổi (round-trips).

Tài liệu là tài sản. Chúng giúp bạn kiểm chứng các quyết định. Khi AI đọc một tài liệu tốt, nó sẽ hiểu ngay lập tức lý do tại sao ("why"). Điều này giúp tiết kiệm token.

Nếu bạn muốn tiết kiệm, hãy tiết kiệm bằng cách tối ưu cách sử dụng công cụ. Đừng tiết kiệm bằng cách bỏ qua việc viết tài liệu.

Nguồn: https://dev.to/kanfu-panda/your-docs-arent-burning-your-tokens-your-tooling-is-58ck

Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi