Bạn dán hàng trăm trang tài liệu vào prompt và đặt một câu hỏi đơn giản. Câu trả lời trả về bị sai. Hoặc nó phớt lờ quy tắc định dạng mà bạn đã đưa ra ở trên cùng. Bạn đã cung cấp cho nó mọi thứ. Đáng lẽ nó phải hoạt động. Nhưng nó đã không làm được.
Đây chính là cái bẫy ngữ cảnh. Hầu hết các nhà phát triển đều cho rằng việc cung cấp cho AI nhiều thông tin hơn sẽ tự động mang lại kết quả tốt hơn. Thực tế thường ngược lại. Để xây dựng các ứng dụng AI đáng tin cậy, bạn cần hiểu ba cơ chế cốt lõi: cách các mô hình đếm văn bản, khả năng chứa thông tin cùng một lúc của chúng, và điều gì xảy ra với thông tin sau khi cuộc hội thoại kết thúc.
Token: Đơn vị tiền tệ thực sự
Token là đơn vị nhỏ nhất mà một mô hình ngôn ngữ xử lý. Nó có thể là một ký tự đơn lẻ, một mảnh của một từ, hoặc toàn bộ một từ thông dụng. Từ “purchase” thường được chia thành hai token, trong khi một từ ngắn như “cat” vẫn giữ nguyên. Dấu câu và khoảng trắng cũng tiêu tốn token. Mã nguồn đặc biệt "ngốn" token. Một khối mã Python với các khoảng thụt đầu dòng lồng nhau và các ký tự đặc biệt có thể tăng vọt lên gấp ba hoặc bốn lần số lượng token mà bạn dự đoán khi nhìn qua.
Tại sao những người xây dựng ứng dụng cần quan tâm? Giá API được tính theo từng token. Thời