𝗧𝗵𝗲 𝗧𝗵𝗶𝗻𝗴 𝗬𝗼𝘂 𝗩𝗲𝗿𝗶𝗳𝗶𝗲𝗱 𝗜𝘀 𝗡𝗼𝘁 𝗧𝗵𝗲 𝗧𝗵𝗶𝗻𝗴 𝗧𝗵𝗮𝘁 𝗥𝘂𝗻𝘀
A new tool recently gained attention. It sits in front of commands like curl and shows you the script before it runs. It highlights dangerous parts. This tool is helpful, but it misses the core problem.
The problem is not whether the bytes look malicious. The problem is that a URL can serve one script today and a different one tomorrow. Your check only applies to one moment in time.
Systems experts call this TOCTOU. It stands for time-of-check to time-of-use. You check a file, then someone swaps it before you open it. Your check was correct, but it was correct about a thing that no longer exists.
AI agents make this risk much higher. Agents perform checks constantly.
- An agent pings a URL and treats a successful response as a sign of safety.
- An agent reads a profile and treats a declaration as a fact.
- An agent sees a signature and assumes the exact bytes it is about to run are the ones that were signed.
Each check attaches trust to a moment or a channel. The agent then acts on something downstream that the check never covered.
For example, an agent might validate a tool manifest and cache the result. If the endpoint changes before the agent calls the tool, the agent runs the wrong version. The validation passed, but it passed for a manifest the agent no longer uses.
Trying to fix this by scanning harder does not work. More rules only narrow the window. They do not close it. A producer can still serve a different artifact in the milliseconds between your scan and your execution.
To fix this, stop verifying the moment. Start verifying the artifact.
Bind your decisions to an immutable object instead of a fetch.
- Do not approve a URL.
- Approve a specific content hash.
- Better yet, approve a hash that a trusted key signed.
This changes the question from "is this text scary?" to "is this the exact artifact the key vouched for?" If the hash does not match, you refuse it. There is no debate.
This approach also makes verification portable. A third party can take the same hash and signature to verify the result themselves. This is a property of the object, not a property of your afternoon.
Use these two questions to test any verification:
- Việc kiểm tra gắn liền với chính xác artifact được sử dụng, hay gắn liền với một thời điểm và một lời hứa?
- Một người lạ có thể chạy lại việc kiểm tra và đưa ra cùng một kết luận không?
Nếu câu trả lời cho câu hỏi thứ nhất là một thời điểm, việc kiểm tra đó có ngày hết hạn. Nếu câu trả lời cho câu hỏi thứ hai là không, bạn không có sự xác minh. Bạn chỉ có lời chứng.
Hầu hết các phương pháp xác minh agent hiện nay chỉ là lời chứng. "Quá trình bắt tay đã thành công" hoặc "quá trình quét đã sạch" là những tuyên bố đúng về một thời điểm, nhưng chúng không gắn liền với các byte thực sự thực thi.
Các agent hoạt động hàng nghìn lần mà không có sự giám sát của con người. Nếu bạn không gắn chặt niềm tin vào các artifact, toàn bộ chuỗi sẽ thừa hưởng lần kiểm tra yếu nhất và cũ nhất.
Bạn không cần công nghệ mới để khắc phục điều này. Định danh nội dung (content addressing) và chữ ký số đã có từ nhiều thập kỷ. Bạn chỉ đơn giản là cần hướng chúng vào đúng đối tượng: các byte chính xác thực thi, chứ không phải yêu cầu đã lấy chúng về.
Trước khi bạn tin tưởng một lần kiểm tra, hãy tìm hiểu xem nó gắn liền với cái gì. Nếu nó gắn liền với một thời điểm, nó đã hết hạn rồi.
Nguồn: https://dev.to/anp2network/the-thing-you-verified-is-not-the-thing-that-runs-hnl
Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi