Kỹ thuật ngữ cảnh AI: Tại sao chỉ dùng Prompt là chưa đủ
Hai năm trước, mọi người đều bàn tán về prompt engineering.
Mọi người chia sẻ các prompt để viết mã hoặc đóng vai chuyên gia. Ý tưởng rất đơn giản: prompt tốt hơn sẽ mang lại kết quả tốt hơn.
Nhưng các kỹ sư đang xây dựng các sản phẩm AI thực tế đã nhận ra một sự thật. Prompt chỉ là một phần của bài toán.
Các công cụ AI hiện đại như Claude, Cursor, hay GitHub Copilot không chỉ dựa vào một prompt duy nhất. Chúng sử dụng Context Engineering (Kỹ thuật ngữ cảnh).
Prompt engineering đặt câu hỏi: "Tôi nên hỏi mô hình điều gì?"
Context engineering đặt câu hỏi: "Mô hình cần thông tin gì để trả lời tốt?"
Hãy nghĩ về một lập trình viên. Nếu bạn nói "ứng dụng bị lỗi rồi", họ không thể giúp bạn ngay được. Họ sẽ hỏi rất nhiều câu hỏi.
Nếu bạn cung cấp error logs, stack traces và các bản triển khai (deployments) gần đây, họ sẽ sửa lỗi rất nhanh. Họ không thông minh lên, chỉ là bạn đã cung cấp cho họ ngữ cảnh tốt hơn.
AI cũng hoạt động theo cách tương tự.
Nếu bạn yêu cầu AI viết một truy vấn SQL, nó có thể sẽ đoán. Nếu bạn cung cấp tên bảng, kiểu cột và các quy tắc cụ thể, câu trả lời sẽ trở nên chính xác. Prompt vẫn đơn giản, nhưng ngữ cảnh đã thay đổi.
Trong các hệ thống AI thực tế (production), mô hình nhận được nhiều thứ hơn là chỉ văn bản của bạn. Nó thường nhận được:
- Chỉ dẫn hệ thống (System instructions)
- Lịch sử hội thoại (Conversation history)
- Bản ghi cơ sở dữ liệu (Database records)
- Các tệp dự án (Project files)
- Kết quả đầu ra của công cụ (Tool outputs)
Một trợ lý lập trình AI biết bạn đang nói về điều gì vì nó có thể thấy các tệp đang mở và cấu trúc thư mục của bạn. Bạn chỉ gõ bốn chữ, nhưng mô hình nhận được hàng ngàn token dữ liệu.
Đừng dành hàng giờ để tinh chỉnh câu chữ của một prompt nữa. Thay vào đó, hãy tự hỏi: "Mô hình đang thiếu thông tin gì?"
Việc cung cấp tài liệu tốt hơn, API schemas hoặc các quy tắc nghiệp vụ sẽ hiệu quả hơn là việc cố gắng tìm một prompt "thần thánh".
Context engineering là việc cung cấp cho mô hình đúng dữ liệu vào đúng thời điểm.
Trong Phần 2, tôi sẽ đề cập đến:
- Cửa sổ ngữ cảnh (context windows) và token
- Tại sao nhiều ngữ cảnh hơn không phải lúc nào cũng tốt hơn
- Cách bộ nhớ hoạt động trong AI
Các hệ thống AI tuyệt vời phụ thuộc vào dữ liệu đằng sau hậu trường, chứ không chỉ là những từ ngữ bạn gõ vào.
Optional learning community: https://t.me/GyaanSetuAi