برنامههای خود را به داده تبدیل کنید
ما ماهها را در یک چرخه بازبینی سپری کردیم. عوامل LLM کدها را برنامهریزی و بازبینی میکردند. کار مدام به عقب برمیگشت. هر بازگشت، زمان میبرد.
ما ۲۴۰۰ سند بازبینی را تحلیل کردیم. ۶ دلیل برای شکست پیدا کردیم. بیشتر آنها باگهای کد نبودند. آنها نقصهای برنامهریزی بودند. مستندات مفقود، قوانین بیاننشده و شکاف در اثباتها.
برنامههای متنی، کد را مهار نمیکنند. بازبینها نمیتوانند یک برنامه متنی را دوباره اجرا کنند. ما قالب را تغییر دادیم. ما از TOML استفاده کردیم. ما برنامهها را به داده تبدیل کردیم.
ما یک اعتبارسنج Python ساختیم. این ابزار قبل از اینکه انسان برنامه را ببیند، آن را بررسی میکند.
- چرخهها را پیدا میکند.
- وابستگیها را بررسی میکند.
- اطمینان حاصل میکند که هر ادعا دارای اثبات است.
- جایگذارهای (placeholders) را رد میکند.
یک برنامه اشتباه اکنون یک assertion شکستخورده است. بازبین انسانی زمان خود را صرف ساختار نمیکند. آنها بر ریسکهای حوزه (domain risks) تمرکز میکنند.
اولین برنامه ما که با DAG بازبینی شده بود، در یک مرحله تأیید شد. بازبینها بودجه خود را صرف ریسکهای واقعی کردند.
آرشیو بازبینی شما یک مجموعه داده (dataset) است. از آن برای یافتن الگوها استفاده کنید. از استفاده از متنهای نثری برای برنامههای فنی دست بردارید. از داده استفاده کنید.
Source: https://dev.to/wernerk_au/dag-toml-how-we-turned-four-months-of-code-review-pain-into-a-machine-checkable-planning-format-236j Optional learning community: https://t.me/GyaanSetuAi