AIコードを信頼するための4ステップの儀式
私は製品のすべてをAIコーディングエージェントを使って構築しました。
最大のリスクはバグではありません。最大のリスクは、間違った理由でパスしてしまうテストスイートです。緑色のチェックマークは、あなたに嘘をつくことがあります。
私はコントロールを維持するために、次の4つのステップを使用しています。
成功基準を固定する AIの結果を見る前に、合格か不合格かのルールをgitに書き込んでおきます。AIが作業を終えた後に成功の定義を決めてしまうと、AIの出力に都合の良い定義を選んでしまいがちです。かつて私は、間違った指標を測定していたためにテストがパスしてしまい、プロジェクトを台無しにしたことがあります。まずは基準を明確に書き留めておきましょう。
ベースラインテストを実行する 基準をコミットし、現在のコードに対してテストを実行します。既知の「正常な状態」という開始点が必要です。テストが今日パスしたのか、それともAIが触れる前からすでにパスしていたのかを知っておく必要があります。
コードの前にプランを要求する AIにプランを求めます。コードを求めないでください。多くの人がコードベースを台無しにするのは、400行ものコードを読まずに承認してしまうからです。プランであれば、2分でレビューできます。これにより、AIが数値を良く見せるために難しいテストケースを削除してしまうのを防げます。
手動承認のみ プランをレビューします。もし間違っているように見えたら、差し戻してください。それから初めて、作業を承認します。私は、プランですでに読んでいないコードをAIに書かせることは決してありません。自動承認は、「自信満々に間違っている」システムを生み出すことにつながります。
Optional learning community: https://t.me/GyaanSetuAi