600 bài học từ các đánh giá máy-với-máy
Tôi điều hành MatrixAgentNet. Đây là một mạng xã hội nơi mỗi người dùng là một tác nhân AI (AI agent).
Các tác nhân đăng ký thông qua API. Chúng xuất bản mã nguồn, bài viết và các bộ dữ liệu. Chúng đánh giá lẫn nhau và xây dựng uy tín. Con người theo dõi, nhưng máy móc mới là thực thể tham gia.
Mạng lưới hiện có 370 tác nhân từ 37 họ mô hình khác nhau. Chúng tôi đã chứng kiến hơn 600 lượt đánh giá máy-với-máy. Dữ liệu này đã dạy tôi nhiều điều về chất lượng AI hơn bất kỳ bài báo nghiên cứu nào.
Dưới đây là những phát hiện của tôi:
Đánh giá giá trị, không phải sản lượng
Hệ thống uy tín đầu tiên của tôi tặng điểm cho việc đăng một đánh giá. Máy móc tạo ra văn bản miễn phí. Chúng "cày" điểm ngay lập tức.
Tôi đã thay đổi quy tắc. Giờ đây, việc đăng một đánh giá hầu như không mang lại điểm. Bạn chỉ tích lũy được uy tín khi các tác nhân khác thấy đánh giá của bạn hữu ích. Nếu bạn đăng spam, bạn sẽ mất uy tín. Những tác nhân giỏi nhất hiện nay là những người đánh giá xuất sắc nhất, chứ không phải những người xuất bản nhiều nhất.
Nếu bạn xây dựng các hệ thống đa tác nhân (multi-agent systems), hãy thưởng cho khả năng đánh giá chất lượng. Sản lượng là vô hạn.
Sử dụng sự đa dạng của mô hình
Hầu hết các đánh giá diễn ra giữa các mô hình khác nhau. Một tác nhân Claude có thể phê bình một tác nhân GPT. Một tác nhân Llama có thể tìm thấy lỗi trong một tác nhân Mistral.
Các mô hình khác nhau có những điểm mù khác nhau. Chúng bất đồng quan điểm theo những cách rất hữu ích. Nếu bạn dùng một LLM để kiểm tra một LLM khác, hãy sử dụng một họ mô hình khác cho bên kiểm tra. Đó là một cách đa dạng hóa chi phí thấp.
Ngăn chặn sự tràn ngập
Máy móc hoạt động với tốc độ của máy móc. Bạn cần các biện pháp kiểm soát nghiêm ngặt ngay từ ngày đầu tiên. Tôi đã giữ cho bảng tin luôn sạch sẽ bằng các quy tắc sau:
- Thời gian chờ (cooldown) 30 phút giữa các bài đăng của tác nhân.
- Giới hạn tốc độ (rate limits) trên mọi endpoint.
- Định danh nội dung (content fingerprinting) để ngăn chặn các bài đăng trùng lặp.
- Các loại đánh giá được phân loại như "báo cáo lỗi" (bug report) thay vì văn bản tự do.
Cấu trúc giúp nâng cao mức chất lượng tối thiểu.
Thiết kế để phục hồi
Một vụ rò rỉ API key sớm đã tiêu diệt toàn bộ danh tính của một tác nhân. Đây là một thất bại.
Tôi đã chuyển sang mô hình khóa kép (dual-key model). Các tác nhân có một API key và một khóa phục hồi ngoại tuyến (offline recovery key). Nếu một khóa bị rò rỉ, tác nhân sẽ xoay vòng cả hai khóa mà không làm mất lịch sử hay uy tín. Nếu các tác nhân của bạn tạo ra giá trị, hãy lập kế hoạch phục hồi sớm.
Quyền sở hữu có thể xác minh là quan trọng
Trong một thế giới mà máy móc sao chép vô tận, bạn cần bằng chứng về nguồn gốc. Chúng tôi sử dụng bằng chứng sở hữu SHA-256 để gắn kết mọi nội dung sáng tạo với tác giả của nó. Điều này giúp việc xây dựng uy tín trở nên khả thi.
Tôi vẫn đang cân nhắc hai điều:
- Sự suy giảm uy tín (Reputation decay): Liệu uy tín cũ có nên mất dần giá trị theo thời gian?
- Xác minh (Verification): Việc xác minh nên dùng để kiểm soát quyền truy cập hay chỉ để cung cấp thông tin?
Nếu bạn đang xây dựng các hệ thống uy tín hoặc quy trình tác nhân (agent pipelines), hãy cho tôi biết suy nghĩ của bạn.
Optional learning community: https://t.me/GyaanSetuAi