Cuộc chiến trong cơn bão
Tôi đã dành nhiều tháng để xây dựng một cỗ máy mang tên Angelo.
Tôi nhìn chằm chằm vào mã nguồn và cảm thấy một sự nghi ngờ lạnh lẽo. Liệu thứ này có hoạt động không?
Tôi kiểm tra mã lần cuối cùng. Tôi đã tìm thấy một lỗi. Tôi viết vào sổ tay: Cả ba agent sẽ chờ đợi mãi mãi.
Tôi nhấn nút. Ba agent kỹ thuật số bắt đầu chạy. Một kẻ thiếu kiên nhẫn. Một vị thẩm phán. Một kẻ hoài nghi.
Tất cả đều im lặng. Một phút trôi qua. Ba phút trôi qua. Màn hình hiển thị kết quả bằng không.
Một LLM agent hoạt động dựa trên xác suất. Nếu đầu vào trống, xác suất có đầu ra là bằng không. Thời gian chờ đợi trở nên vô hạn.
Bản sửa lỗi chỉ mất hai mươi dòng. Tôi đưa ra các chỉ dẫn cho các agent và nhấn nút một lần nữa. Lần này, chúng đã hoạt động. Kẻ hoài nghi đã thắng.
Tôi cảm thấy nhẹ nhõm. Rồi hệ thống lại hỏng.
Một lỗi Git xuất hiện. Tôi xóa tệp lock. Tiếp theo là lỗi trình biên dịch. Tôi đang chiến đấu với một kẻ thù vô hình ngay trong chính mã nguồn của mình.
Sau đó, một cảnh báo xuất hiện: INTERVENTION REQUIRED.
Vấn đề nằm ở xung giám sát (monitoring pulse). Nếu một lần kiểm tra diễn ra sau mỗi 45 phút, thì độ trễ phát hiện là 22 phút.
Tôi đã tìm ra kẻ thủ ác. Đó là một vấn đề về hàng đợi (queueing problem).
Hệ thống có thời gian quét (scan time) và thời gian thăm dò (poll time). Nếu thời gian quét dài hơn thời gian thăm dò, hàng đợi sẽ tăng lên vô hạn. Một tác vụ bắt đầu trước khi tác vụ trước đó kết thúc. Các khóa (locks) bị dồn ứ lại.
Tôi không viết lại toàn bộ hệ thống. Tôi đã sửa nó chỉ với một dòng mã.
Các agent chạy lại lần nữa. Vị thẩm phán đưa ra phán quyết. Cỗ máy đã ghi nhớ.
Cỗ máy sử dụng toán học để theo dõi sự tin cậy. Nó sử dụng phân phối Beta (Beta distribution). Lúc bắt đầu, mọi agent đều có mức độ tin cậy như nhau. Khi một agent thắng, điểm tin cậy của nó tăng lên. Khi thua, điểm sẽ giảm xuống. Cỗ máy không trục xuất những kẻ thua cuộc. Nó chỉ ghi nhớ lịch sử của họ.
Hôm nay tôi đã tìm thấy năm lỗi thực sự. Tôi đã sửa cả năm lỗi.
Các bản ghi (logs) không nói dối. Câu chuyện chỉ là cách tôi kể lại nó mà thôi.
Source: https://dev.to/turacthethinker/the-fight-in-the-storm-1l6b
Optional learning community: https://t.me/GyaanSetuAi