Harness chỉ là một nửa kiến trúc
Ngành công nghiệp đang sử dụng một phương trình cụ thể: Agent = Model + Harness.
Nếu bạn không phải là model, bạn là harness. Quan điểm này coi mọi thứ khác chỉ là cơ sở hạ tầng hỗ trợ. Nó giả định rằng model là động cơ, còn harness chỉ là khung gầm hoặc hệ thống nhiên liệu.
Logic này có lỗ hổng.
Một chiếc ô tô không phải là một động cơ đi kèm với các phụ kiện. Ô tô là một hệ thống gồm các hệ thống con ngang hàng. Phanh không phục vụ động cơ. Hệ thống điện không phục vụ động cơ. Nếu phanh hỏng, chiếc xe sẽ hỏng. Công suất của động cơ trở nên vô nghĩa nếu phương tiện không thể dừng lại.
Các AI agent cũng hoạt động theo cách tương tự.
Kiến trúc agent hiện tại đang gộp verification, intent và coordination vào một danh mục phụ duy nhất gọi là harness. Sai lầm này dẫn đến các hệ thống bị thiết kế thiếu sót.
Verification không phải là một harness. Nó là một hệ thống con ngang hàng. Intent không phải là cơ sở hạ tầng hỗ trợ. Nó là hệ thống con điều hướng quá trình generation. Coordination không phải là một model wrapper. Nó là hệ thống con giúp công việc multi-agent trở nên mạch lạc.
Nếu việc verification của bạn thất bại, agent của bạn sẽ thất bại. Việc model thông minh đến mức nào không còn quan trọng nữa.
Toán học chứng minh rằng lỗ hổng này là có thật. Một chứng minh từ NIST cho thấy không có một tập hợp các guardrails hữu hạn nào có thể chống lại mọi đầu vào một cách mạnh mẽ một cách phổ quát. Bạn không thể khắc phục điều này bằng cách xây dựng một harness tốt hơn. Bạn không thể bao bọc một model trong đủ các quy tắc để khiến nó trở nên hoàn hảo. Các lỗ hổng sẽ luôn tồn tại.
Ngành công nghiệp đang đặt cược rằng các model tốt hơn cuối cùng sẽ hấp thụ được những vấn đề này. Đây là một sai lầm. Lịch sử phần cứng cho thấy các CPU nhanh hơn không loại bỏ được nhu cầu về bộ điều khiển bộ nhớ hay cache. Mỗi hệ thống con đều có các quy luật vật lý và những ràng buộc riêng.
Để xây dựng các agent thực thụ, bạn cần bốn thứ mà mô hình harness hiện tại đang thiếu:
- Một lớp đặc tả (specification layer): Các tuyên bố do con người soạn thảo về việc thế nào là đúng.
- Một cổng xác thực độc lập (independent verification gate): Một bộ kiểm tra cơ học không phải là chính model đó.
- Một kỷ luật loại bỏ (subtraction discipline): Một cách để quyết định mã nguồn nào không nên tồn tại nhằm ngăn chặn sự cồng kềnh.
- Điều phối thông qua các giao thức (coordination through protocols): Sử dụng các đặc tả thay vì chỉ sử dụng các hệ thống tệp chia sẻ.
Harness giúp model trở thành một thực thể tạo ra kết quả tốt hơn. Lớp đặc tả giúp hệ thống có trách nhiệm giải trình (accountable).
Bạn cần cả hai. Nếu bạn chỉ xây dựng cái đầu tiên, bạn đang xây dựng hướng tới một mức trần mà toán học nói rằng bạn không thể phá vỡ.
Harness chỉ là một nửa của kiến trúc. Đây là nửa còn thiếu.
Khi xây dựng các ứng dụng AI, hầu hết mọi người đều tập trung vào mô hình (model). Họ dành hàng tuần để tinh chỉnh prompt, thử nghiệm các mô hình khác nhau (GPT-4, Claude, Llama) và cố gắng đạt được phản hồi hoàn hảo nhất.
Nhưng mô hình chỉ là động cơ.
Harness — phần bao quanh mô hình — chỉ chiếm một nửa của kiến trúc.
Harness bao gồm:
- Các mẫu prompt (prompt templates)
- Các lệnh gọi API
- Việc phân tích cú pháp đầu vào/đầu ra (input/output parsing)
Đây là phần "dễ dàng". Đó là những gì hầu hết các bài hướng dẫn (tutorial) thường chỉ cho bạn.
Nhưng nếu bạn muốn xây dựng một ứng dụng AI sẵn sàng để triển khai thực tế (production-ready), bạn cần nửa còn lại:
- Dữ liệu (Data): Nhiên liệu. (RAG, cơ sở dữ liệu vector, các đường ống dữ liệu).
- Điều phối (Orchestration): Người lái xe. (Các chuỗi - chains, các tác nhân - agents, quản lý trạng thái).
- Đánh giá (Evaluation): Kiểm soát chất lượng. (Các bộ đánh giá - evals, kiểm thử, vòng lặp phản hồi).
- Guardrails: Sự an toàn. (Lọc nội dung, xác thực đầu ra).
Đừng chỉ xây dựng một cái harness. Hãy xây dựng toàn bộ kiến trúc.