Chúng tôi đã ngừng tin tưởng vào các mô hình. Sau đó, chúng tôi cũng ngừng tin tưởng vào các con số của chính mình.

Tôi đã ngừng chạy theo những mô hình AI tốt hơn. Tôi từng nghĩ một mô hình mạnh mẽ hơn sẽ khắc phục được hệ thống của mình. Nhưng không phải vậy. Vấn đề không nằm ở mô hình. Vấn đề nằm ở hệ thống.

Rồi tôi nhận ra một điều còn tồi tệ hơn. Tôi cũng không thể tin tưởng vào các phép đo lường của chính mình.

Tôi đã thấy ba loại thất bại khác nhau:

  • Một bộ kiểm thử (test suite) vượt qua trong khi đang đo lường sai môi trường.
  • Một cổng kiểm soát (gate) chặn công việc nhưng lại đưa ra các số liệu thống kê sai lệch.
  • Một tác nhân (agent) báo cáo sai số lượng.

Mỗi thất bại đều trông như một thành công cho đến khi tôi xem xét kỹ hơn. Các công cụ xác minh đang lừa dối tôi.

Bản năng đầu tiên của tôi là loại bỏ mọi sự không chắc chắn. Tôi muốn loại bỏ mọi yếu tố xác suất. Tôi muốn mọi thứ phải mang tính tất định (deterministic).

Đó là một sai lầm.

Nếu bạn loại bỏ mọi sự không chắc chắn, bạn sẽ loại bỏ luôn giá trị của AI. AI được tạo ra để đề xuất các ý tưởng và khám phá các giải pháp khắc phục. Bạn không thể có được điều đó từ một quy tắc cứng nhắc.

Giải pháp không phải là cấm sự không chắc chắn. Giải pháp là đặt nó vào đúng chỗ.

Một hệ thống cần hai vị trí khác nhau:

  1. Vị trí Đề xuất (The Proposing Seat) Vị trí này khám phá và gợi ý. Nó cần tính phi tất định (nondeterminism). Nếu một mô hình đề xuất một giải pháp sai, chi phí sẽ thấp vì nó vẫn chưa đưa ra quyết định cuối cùng.

  2. Vị trí Phán quyết (The Judging Seat) Vị trí này quyết định xem một bài kiểm tra có vượt qua hay một quy tắc có được đáp ứng hay không. Vị trí này phải mang tính tất định. Nó phải có khả năng tái lập và có thể kiểm chứng được.

Những thất bại trong hệ thống của tôi xảy ra vì tôi đã đặt sai thứ vào vị trí phán quyết. Tôi đã để các quy trình không chắc chắn đưa ra các quyết định cuối cùng.

Quy tắc rất đơn giản:

  • Hãy để các phần không chắc chắn khám phá.
  • Hãy để các phần tất định phán quyết.

Đừng cố gắng làm cho toàn bộ hệ thống trở nên chắc chắn. Thay vào đó, hãy đảm bảo rằng các "quan tòa" của bạn là vững chắc. Một quan tòa tất định mà sai lầm còn nguy hiểm hơn một quan tòa xác suất. Một quan tòa sai lầm sẽ tạo ra một lỗi hệ thống ổn định mà cuối cùng bạn sẽ ngừng đặt câu hỏi về nó.

Mọi lớp cung cấp sự tin cậy cho bạn đều phải được đo lường trước tiên. Phép đo đó nên dựa trên một thứ gì đó mang tính tất định mà bạn có thể chứng kiến được.

Làm thế nào để bạn phân định ranh giới giữa việc đề xuất và phán quyết trong các hệ thống AI của mình? Bạn kiên định với tính tất định ở đâu?

Source: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611

Optional learning community: https://t.me/GyaanSetuAi