سود بهرهوری هوش مصنوعی با اندازهگیری صادقانه از بین میرود
فروشندگان هوش مصنوعی وعده ۴۰٪ افزایش بهرهوری با ابزارهای کدنویسی را میدهند. مهندسان ارشدی که زمان واقعی خود را ردیابی میکنند، داستان متفاوتی را میبینند.
وقتی توسعهدهندگان هر ساعت صرفشده برای پاکسازی و بازبینی را ثبت میکنند، آن افزایش ۴۰ درصدی به رقم تکرقمی کاهش مییابد. گاهی اوقات این سود کاملاً از بین میرود.
فروشندگان سرعت را بر اساس سرعت نوشتن یک تابع توسط هوش مصنوعی محاسبه میکنند. هوش مصنوعی ۳۰ خط کد را در ۱۰ ثانیه ارائه میدهد. این سریع به نظر میرسد. اما شما یک پیشنویس اولیه را عرضه (ship) نمیکنید.
یک خط زمانی واقعی به این صورت است:
- هوش مصنوعی کد را در چند ثانیه تولید میکند.
- شما ۴۵ دقیقه را صرف بازبینی و اصلاح آن میکنید.
سرعت تولید واقعی است. اما سرعت گلوگاه مهندسان ارشد نیست. تفکر گلوگاه است. خواندن گلوگاه است. یکپارچهسازی گلوگاه است.
شما زمان خود را صرف این وظایف میکنید:
- عیبیابی باگهای هوش مصنوعی. این خطاها در ابتدا درست به نظر میرسند. تا زمانی که کد به مرحله تولید (production) نرسد، متوجه نقص نمیشوید.
- رعایت راهنمای سبک (Style guide). هوش مصنوعی از قراردادهای تیم شما آگاه نیست. باید خروجی را به صورت دستی اصلاح کنید.
- یکپارچهسازی کد. هوش مصنوعی قطعات کد ایزوله میسازد. پایگاه کد (codebase) شما یک سیستم متصل است.
شما زمان را از نوشتن به عیبیابی منتقل میکنید. سپس وانمود میکنید که عیبیابی جزئی از کل زمان کاری شما نیست.
هوش مصنوعی در نوشتن کدهای تکراری (boilerplate)، بررسی APIها و نوشتن تستهای اولیه کمک میکند. اینها دستاوردهای واقعی هستند.
تأثیر آن به سطح تجربه شما بستگی دارد. توسعهدهندگان جونیور (Junior) کد بیشتری مینویسند زیرا سریعتر از بنبستها خارج میشوند. توسعهدهندگان ارشد (Senior) تلاش خود را از نوشتن به خواندن تغییر میدهند.
هوش مصنوعی شما را ۴۰٪ سریعتر نمیکند. هوش مصنوعی محل صرف زمان شما را تغییر میدهد.
بیشتر ادعاها سرعت تولید را میسنجند و هر آنچه را که در مراحل بعدی (downstream) رخ میدهد نادیده میگیرند. این مانند اندازهگیری سرعت یک نویسنده بر اساس تعداد کلمات در دقیقه، در حالی که فرآیند ویرایش نادیده گرفته میشود، است.
اگر معیار سنجش (benchmark) شما زمانی که هوش مصنوعی کارش تمام میشود متوقف شود، اعداد بزرگی به دست میآورید. اگر معیار سنجش شما زمانی متوقف شود که کد بازبینی را پشت سر گذاشته و بدون خطا عرضه شود، اعداد بسیار ناچیز خواهند بود.
اندازهگیری صادقانه، بازاریابی خوبی نیست. اما تنها راه برای تصمیمگیری در مورد نحوه سرمایهگذاری روی تیم شماست.
ابزارهای هوش مصنوعی مفید هستند. سود حاصل برای مهندسان باتجربه در پایگاههای کد واقعی احتمالاً اندک است. هر کسی که ادعای ۴۰٪ را دارد، یا چرخه کامل را نادیده میگیرد یا در حال فروختن یک محصول است.
بعد از استفاده از ابزارهای هوش مصنوعی چه احساسی دارید؟ آیا واقعاً سرعت عرضه (shipping speed) شما را افزایش داده است؟
منبع: https://dev.to/adioof/ai-productivity-gains-vanish-when-you-measure-them-honestly-4a3a