Cửa sổ để xây dựng chuyên môn về AI đang dần khép lại
Mọi người nói về các bản demo AI và các hệ thống production như thể chúng là một. Thực tế không phải vậy.
Có một khoảng cách khổng lồ giữa một bản demo hào nhoáng và một hệ thống hoạt động được trong thế giới thực.
Ai cũng gọi mọi thứ là agent. Một chatbot có bộ nhớ là một agent. Một đoạn script có vòng lặp là một agent. Điều này là sai lầm. Sai lầm này dẫn đến việc kỹ thuật kém chất lượng.
Bạn sẽ kết thúc bằng việc thiết kế quá mức (over-engineering) cho các tác vụ đơn giản và thiết kế thiếu hụt (under-engineering) cho các tác vụ khó.
Đây là một định nghĩa thực sự: Một agent có một mục tiêu. Nó tự quyết định bước tiếp theo. Nó xử lý lỗi. Nó biết khi nào một tác vụ hoàn thành. Mọi thứ khác chỉ đơn thuần là một lời gọi hàm (function call).
Cách để phân biệt: • Nếu con người phải hướng dẫn từng bước, đó là một giao diện chat. • Nếu một hệ thống có thể tự phục hồi sau một lần gọi công cụ (tool call) thất bại, đó là một agent. • Nếu một hệ thống có thể chia nhỏ mục tiêu thành các tác vụ con, đó là một agent thực thụ.
Các đội ngũ thành công không chỉ chạy theo các mô hình mới. Họ tập trung vào ba điều:
- Thiết kế công cụ: Giao diện sạch sẽ đến mức nào?
- Xử lý lỗi: Điều gì xảy ra khi một công cụ không trả về kết quả gì?
- Khả năng quan sát (Observability): Tại sao agent lại đưa ra quyết định đó?
Framework bạn sử dụng ít quan trọng hơn các pattern (mẫu thiết kế) mà bạn tuân theo. LangChain hay CrewAI chỉ là các công cụ. Kiến trúc mới là điều quan trọng.
Hãy sử dụng các pattern này:
- Lập kế hoạch rồi mới thực thi: Sử dụng một bước để lập kế hoạch và một bước riêng biệt để hành động.
- Tách biệt việc truy xuất (retrieval) khỏi việc suy luận (reasoning): Lấy dữ liệu và sử dụng dữ liệu là hai công việc khác nhau.
- Bàn giao rõ ràng: Sử dụng các log có cấu trúc khi một agent chuyển giao công việc cho một agent khác.
RAG cũng đang gây ra nhiều vấn đề. Hầu hết mọi người đều thất bại ở khâu chia nhỏ dữ liệu (chunking). Nếu các chunk của bạn làm mất ngữ cảnh, mô hình sẽ bị ảo giác (hallucinate). Bạn phải sửa lỗi chunking và metadata trước khi đổ lỗi cho mô hình.
Các mô hình sẽ trở nên tốt hơn. Token sẽ rẻ hơn. Nhưng điều này không giải quyết được thách thức về mặt kỹ thuật.
Thách thức thực sự là xây dựng các hệ thống mà bạn có thể tin tưởng. Bạn cần sự quản trị (governance) và việc sử dụng công cụ một cách đáng tin cậy.
Những kỹ sư quan trọng trong hai năm tới không phải là các prompt engineer. Họ là những nhà thiết kế hệ thống. Họ xây dựng AI mà người khác có thể bảo trì được.
Optional learning community: https://t.me/GyaanSetuAi