Прирост продуктивности от ИИ исчезает при честном измерении

Вендоры ИИ-решений обещают 40-процентный рост продуктивности при использовании инструментов для написания кода. Старшие инженеры, которые отслеживают свое реальное рабочее время, видят совсем другую картину.

Когда разработчики фиксируют каждый час, потраченный на очистку и ревью кода, этот 40-процентный скачок падает до однозначных чисел. Иногда выгода и вовсе исчезает.

Вендоры измеряют скорость тем, как быстро ИИ пишет функцию. Он выдает 30 строк за 10 секунд. Это выглядит быстро. Но вы не выпускаете в продакшн первый черновик.

Реальный график выглядит так:

  • ИИ генерирует код за секунды.
  • Вы тратите 45 минут на его проверку и исправление.

Скорость генерации реальна. Но скорость не является узким местом для старших инженеров. Узкое место — это мышление. Узкое место — это чтение. Узкое место — это интеграция.

Вы теряете время на следующих задачах:

  • Отладка багов, созданных ИИ. На первый взгляд эти ошибки кажутся правильными. Вы не замечаете изъян, пока он не попадает в продакшн.
  • Соответствие стайл-гайду. ИИ не знает соглашений вашей команды. Вам приходится исправлять результат вручную.
  • Интеграция кода. ИИ создает изолированные фрагменты. Ваш кодовый базис — это взаимосвязанная система.

Вы просто переносите время с написания кода на его отладку. А затем делаете вид, что отладка не входит в ваше общее рабочее время.

ИИ помогает с шаблонным кодом, изучением API и написанием первичных тестов. Это реальные преимущества.

Влияние зависит от вашего уровня опыта. Junior-разработчики пишут больше кода, потому что быстрее находят решение, когда заходят в тупик. Senior-разработчики переключают свои усилия с написания на чтение.

ИИ не делает вас на 40% быстрее. ИИ меняет то, на что вы тратите свое время.

Большинство заявлений измеряют только генерацию, игнорируя всё, что происходит на последующих этапах. Это всё равно что оценивать писателя по количеству слов в минуту, игнорируя процесс редактирования.

Если ваш бенчмарк заканчивается в момент завершения работы ИИ, вы получите внушительные цифры. Если же бенчмарк заканчивается, когда код проходит ревью и выпускается без ошибок, цифры будут скромными.

Честное измерение — это плохой маркетинг. Но это единственный способ решить, как инвестировать в свою команду.

Инструменты ИИ полезны. Но прирост для опытных инженеров в реальных кодовых базах, скорее всего, невелик. Любой, кто заявляет о 40%, либо игнорирует полный цикл разработки, либо пытается продать продукт.

Что вы чувствуете после использования ИИ-инструментов? Действительно ли это увеличило скорость выпуска вашего кода?

Источник: https://dev.to/adioof/ai-productivity-gains-vanish-when-you-measure-them-honestly-4a3a