Zyski z produktywności AI znikają, gdy mierzysz je uczciwie

Dostawcy AI obiecują 40% wzrostu produktywności dzięki narzędziom do kodowania. Doświadczeni inżynierowie, którzy monitorują swój rzeczywisty czas pracy, widzą zupełnie inną rzeczywistość.

Gdy programiści rejestrują każdą godzinę poświęconą na czyszczenie kodu i przegląd (review), ten 40-procentowy wzrost spada do jednocyfrowych wartości. Czasami zysk całkowicie znika.

Dostawcy obliczają prędkość na podstawie tego, jak szybko AI pisze funkcję. Generuje 30 linii w 10 sekund. Wygląda to na szybkie tempo. Ale przecież nie wdrażasz pierwszej wersji projektu.

Rzeczywisty harmonogram wygląda następująco:

  • AI generuje kod w kilka sekund.
  • Ty spędzasz 45 minut na przeglądaniu i poprawianiu go.

Prędkość generowania jest realna. Ale prędkość nie jest wąskim gardłem dla doświadczonych inżynierów. Wąskim gardłem jest myślenie. Wąskim gardłem jest czytanie. Wąskim gardłem jest integracja.

Tracisz czas na tych zadaniach:

  • Debugowanie błędów AI. Te błędy na pierwszy rzut oka wyglądają poprawnie. Przeoczysz wadę, dopóki nie trafi ona na produkcję.
  • Zgodność z wytycznymi stylu (style guide). AI nie zna konwencji Twojego zespołu. Musisz ręcznie poprawiać wynik.
  • Integracja kodu. AI tworzy odizolowane fragmenty. Twoja baza kodu (codebase) to połączony system.

Przesuwasz czas z pisania na debugowanie. A potem udajesz, że debugowanie nie wlicza się do Twojego całkowitego czasu pracy.

AI pomaga przy kodzie powtarzalnym (boilerplate), eksploracji API i pisaniu wstępnych testów. To są realne korzyści.

Wpływ zależy od Twojego poziomu doświadczenia. Juniorzy piszą więcej kodu, ponieważ szybciej usuwają blokady. Seniorzy przesuwają swój wysiłek z pisania na czytanie.

AI nie sprawia, że jesteś o 40% szybszy. AI zmienia to, na co poświęcasz swój czas.

Większość twierdzeń mierzy samo generowanie, ignorując wszystko, co dzieje się w dalszych etapach. To tak, jakby mierzyć pisarza liczbą słów na minutę, ignorując proces redakcji.

Jeśli Twój benchmark kończy się w momencie, gdy AI skończy pracę, otrzymasz wysokie wyniki. Jeśli Twój benchmark kończy się, gdy kod przejdzie przegląd i zostanie wdrożony bez błędów, wyniki będą skromne.

Uczciwe pomiary nie są dobrym marketingiem. Są jednak jedynym sposobem na podjęcie decyzji, jak inwestować w swój zespół.

Narzędzia AI są użyteczne. Zyski dla doświadczonych inżynierów pracujących na rzeczywistych bazach kodu są prawdopodobnie niewielkie. Każdy, kto twierdzi, że wynosi on 40%, albo ignoruje pełny cykl, albo próbuje sprzedać produkt.

Jak się czujesz po korzystaniu z narzędzi AI? Czy faktycznie zwiększyły one Twoją prędkość wdrażania?

Źródło: https://dev.to/adioof/ai-productivity-gains-vanish-when-you-measure-them-honestly-4a3a