𝗠𝗮𝗮𝗸 𝘃𝗮𝗻 𝗷𝗲 𝗽𝗹𝗮𝗻𝗻𝗲𝗻 𝗱𝗮𝘁𝗮
We brachten maanden door in een review-loop. LLM-agenten planden en reviewden code. Het werk bleef maar terugkomen. Elke keer dat het terugkwam, kostte tijd.
We hebben 2.400 review-documenten geanalyseerd. We vonden 6 redenen voor falen. De meeste waren geen code-bugs. Het waren gebreken in het plan. Ontbrekende documentatie. Niet-vermelde regels. Gaten in het bewijs.
Tekstuele plannen binden geen code. Reviewers slagen er niet in om een tekstueel plan opnieuw uit te voeren. We hebben het formaat gewijzigd. We gebruikten TOML. We hebben plannen omgezet in data.
We hebben een Python-validator gebouwd. Deze controleert het plan voordat een mens het ziet.
- Het vindt cycli.
- Het controleert afhankelijkheden.
- Het zorgt ervoor dat elke bewering bewijs heeft.
- Het wijst placeholders af.
Een foutief plan is nu een mislukte assertion. De menselijke reviewer verspilt geen tijd aan de structuur. Zij focussen op domeinrisico's.
Ons eerste DAG-gereviewde plan slaagde in één ronde. Reviewers besteedden hun budget aan echte risico's.
Je review-archief is een dataset. Gebruik het om patronen te vinden. Stop met het gebruik van tekst voor technische plannen. Gebruik data.
Bron: https://dev.to/wernerk_au/dag-toml-how-we-turned-four-months-of-code-review-pain-into-a-machine-checkable-planning-format-236j Optionele leercommunity: https://t.me/GyaanSetuAi