Đội ngũ của bạn không cần một mô hình AI tốt hơn trong tuần này
Đừng mải mê tìm kiếm các mô hình AI mới. Sự nâng cấp thực sự mà bạn cần chính là quy trình làm việc (workflow).
Hầu hết các đội ngũ đều tập trung vào việc mô hình nào có vẻ thông minh hơn. Họ đánh giá (benchmark) các bản phát hành mới và tranh luận về trí thông minh. Nhưng nếu bạn đang xây dựng ứng dụng với LLM, bạn sẽ biết nỗi đau thực sự. Vấn đề không nằm ở mã nguồn kém. Vấn đề nằm ở khâu thực thi kém.
Bạn sẽ thấy những vấn đề này:
- Các vòng lặp agent bị dừng giữa chừng khi đang thực hiện tác vụ.
- Các yêu cầu phê duyệt (approval prompts) gây nhầm lẫn cho con người.
- Các chuỗi ngữ cảnh (context chains) bị đứt gãy trong quá trình thử lại (retries).
- Con người phải đi dọn dẹp hậu quả vì quá trình tự động hóa bị mất trạng thái (state).
Trí thông minh đang tăng lên, nhưng khả năng kiểm soát vận hành (operational control) lại đang tụt hậu. Chúng ta đang bước vào kỷ nguyên của "thuế điều phối" (orchestration tax). Nếu bạn không lập kế hoạch cho nó, bạn sẽ phải trả giá bằng các sự cố hệ thống và những lỗi âm thầm (silent failures).
Đầu ra của AI hiếm khi là sản phẩm cuối cùng. Nó chỉ là một bước trung gian trong một hệ thống lớn hơn. Bạn phải giải quyết được những câu hỏi sau:
- Tác vụ có thể tiếp tục sau khi hết thời gian chờ (timeout) không?
- Chúng ta có thể kiểm tra (audit) mọi lượt phê duyệt không?
- Chúng ta có thể chạy lại các bước mà không gây ra các hành động trùng lặp không?
- Con người có thể tiếp quản công việc ngay giữa chừng không?
Các kỹ sư dày dạn kinh nghiệm đã giải quyết những vấn đề này từ nhiều năm trước trong lĩnh vực thanh toán và các tác vụ chạy ngầm (background jobs). Chúng tôi đã sử dụng các khóa tính lũy đẳng (idempotency keys), các điểm kiểm tra (checkpoints) và nhật ký giao dịch (transaction logs). AI không tạo ra những vấn đề này. Nó chỉ khiến chúng xảy ra nhanh hơn mà thôi.
Đừng chọn một mô hình trước khi bạn chọn hợp đồng thực thi (execution contract) của mình. Điều đó giống như việc chọn một động cơ đua cho một chiếc xe không có phanh.
Xây dựng một quy trình làm việc đáng tin cậy bằng các bước sau:
Chia nhỏ công việc AI thành các bước nhỏ Đừng sử dụng một prompt khổng lồ. Hãy chia nhỏ nó ra: thu thập ngữ cảnh, đề xuất thay đổi, chạy kiểm tra, yêu cầu phê duyệt và áp dụng thay đổi.
Sử dụng lưu trữ bền vững (durable storage) Sử dụng cơ sở dữ liệu để theo dõi trạng thái, các bước và số lần thử lại. Nếu một worker bị lỗi, bạn sẽ khôi phục từ trạng thái (state) chứ không phải từ bộ nhớ (memory).
Áp dụng tính lũy đẳng (idempotency) Mọi hành động làm thay đổi dữ liệu đều cần một khóa ổn định. Nếu một bước được chạy hai lần, kết quả phải giữ nguyên như cũ.
Quản lý quyền hạn theo các cấp độ (tiers) Đừng yêu cầu phê duyệt liên tục. Hãy tạo ra các cấp độ:
- Cấp 0: Các tác vụ chỉ đọc (tự động phê duyệt).
- Cấp 1: Các thao tác ghi rủi ro thấp (phê duyệt theo lô).
- Cấp 2: Các tác vụ có tác động cao (cần con người kiểm tra).
- Theo dõi các chỉ số vận hành Đừng chỉ nhìn vào độ trễ (latency) và chi phí. Hãy theo dõi tỷ lệ hết thời gian chờ (timeout rates), tỷ lệ thử lại thành công và tần suất hoàn tác (rollback frequency).
Những đội ngũ AI giỏi nhất sẽ không khoe khoang về những "magic prompts". Họ sẽ vận hành các đường ống (pipelines) nhàm chán, bền bỉ và có khả năng quan sát (observable). Lợi thế của họ không nằm ở mô hình. Lợi thế của họ nằm ở kỹ thuật hệ thống có kỷ luật.
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-29l4
Optional learning community: https://t.me/GyaanSetuAi