Biến Kế hoạch của Bạn thành Dữ liệu
Chúng tôi đã mất nhiều tháng trong một vòng lặp đánh giá. Các agent LLM lập kế hoạch và đánh giá mã nguồn. Công việc liên tục bị trả lại. Mỗi lần bị trả lại đều tiêu tốn thời gian.
Chúng tôi đã phân tích 2.400 tài liệu đánh giá. Chúng tôi tìm thấy 6 lý do thất bại. Hầu hết không phải là lỗi mã nguồn. Đó là những khiếm khuyết trong kế hoạch. Thiếu tài liệu. Các quy tắc không được nêu rõ. Những lỗ hổng trong bằng chứng.
Các kế hoạch dạng văn bản không có tính ràng buộc với mã nguồn. Người đánh giá không thể chạy lại một kế hoạch dạng văn bản. Chúng tôi đã thay đổi định dạng. Chúng tôi sử dụng TOML. Chúng tôi biến các kế hoạch thành dữ liệu.
Chúng tôi đã xây dựng một trình xác thực Python. Nó kiểm tra kế hoạch trước khi con người xem xét.
- Nó tìm ra các chu trình.
- Nó kiểm tra các phụ thuộc.
- Nó đảm bảo mọi khẳng định đều có bằng chứng.
- Nó loại bỏ các trình giữ chỗ.
Một kế hoạch sai giờ đây là một assertion thất bại. Người đánh giá không còn lãng phí thời gian vào cấu trúc. Họ tập trung vào các rủi ro chuyên môn.
Kế hoạch đầu tiên được đánh giá qua DAG của chúng tôi đã vượt qua chỉ trong một vòng. Người đánh giá đã dành nguồn lực của họ cho các rủi ro thực sự.
Kho lưu trữ đánh giá của bạn là một tập dữ liệu. Hãy sử dụng nó để tìm ra các quy luật. Đừng sử dụng văn bản thuần túy cho các kế hoạch kỹ thuật nữa. Hãy sử dụng dữ liệu.
Nguồn: https://dev.to/wernerk_au/dag-toml-how-we-turned-four-months-of-code-review-pain-into-a-machine-checkable-planning-format-236j Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi