正直に測定すると、AIによる生産性向上は消えてしまう
AIベンダーは、コーディングツールによって生産性が40%向上すると謳っている。しかし、実際の作業時間を記録しているシニアエンジニアが見ている現実は、それとは異なる。
開発者がクリーンアップやレビューに費やしたすべての時間を記録すると、その40%という向上幅は一桁にまで落ち込む。時には、向上分そのものが消失することさえある。
ベンダーは、AIがいかに速く関数を書くかで速度を計算する。10秒で30行のコードを生成する。これは速く見える。しかし、初稿のままリリースすることはない。
実際のタイムラインは以下のようになる：
- AIは数秒でコードを生成する。
- あなたはそれをレビューし、修正するために45分を費やす。
生成速度は本物だ。しかし、シニアエンジニアにとってのボトルネックは速度ではない。思考がボトルネックなのだ。読み解くことがボトルネックなのだ。統合がボトルネックなのだ。
以下のようなタスクに時間を奪われる：
- AIが生成したバグのデバッグ。これらのエラーは一見正しく見える。本番環境に反映されるまで、欠陥に気づかないこともある。
- スタイルガイドへの準拠。AIはチームの規約を知らない。出力結果を手動で修正しなければならない。
- コードの統合。AIが構築するのは孤立したスニペットだ。一方で、あなたのコードベースは相互に接続されたシステムである。
書くための時間をデバッグへと移すだけだ。そして、デバッグは総作業時間には含まれないかのように振る舞う。
AIはボイラープレートの作成、APIの調査、初期テストの記述には役立つ。これらは確かなメリットだ。
影響は経験レベルによって異なる。ジュニア開発者は、詰まった箇所を素早く解消できるため、より多くのコードを書くようになる。シニア開発者は、労力を「書くこと」から「読むこと」へとシフトさせる。
AIはあなたを40%速くするのではない。AIは、あなたがどこに時間を使うかを変えるのだ。
ほとんどの主張は「生成」のみを測定し、その後のプロセスをすべて無視している。これは、編集プロセスを無視して、作家の能力を「1分あたりの単語数」で測るようなものだ。
ベンチマークを「AIが完了した時点」で止めるなら、大きな数字が出る。しかし、ベンチマークを「コードがレビューを通過し、エラーなしでリリースされた時点」で止めるなら、その数字は控えめなものになる。
正直な測定は、優れたマーケティングにはならない。しかし、チームにどのように投資すべきかを判断するための唯一の方法である。
AIツールは有用だ。しかし、実際のコードベースにおいて、経験豊富なエンジニアが得られる恩恵は小さい可能性が高い。40%の向上を主張する者は、開発サイクル全体を無視しているか、単に製品を売り込もうとしているかのどちらかだ。
AIツールを使って、あなたはどう感じていますか？ 実際にリリース速度は上がりましたか？
出典: https://dev.to/adioof/ai-productivity-gains-vanish-when-you-measure-them-honestly-4a3a