המחקר האחרון של Anthropic מראה שמפתחים הנשענים על AI ליצירת קוד מקבלים ציונים נמוכים ב-17% במבחני הבנת מושגים, ואינם מסיימים משימות מהר יותר מעמיתיהם המסתמכים על תיעוד וחיפושים באינטרנט. הממצאים מדגישים כי בעוד ש-AI יכולה להפיק קוד עובד תוך שניות, היא אינה מפחיתה את העלות של מומחיות הנדסית אמיתית.

למה המחקר חשוב

הניסוי חילק את המפתחים לשתי קבוצות. קבוצה אחת קיבלה גישה בלתי מוגבלת לכלי יצירת קוד מבוסס AI; השנייה פתרה את אותן בעיות תוך שימוש בתיעוד רשמי ובחיפושים באינטרנט בלבד. לאחר המטלות, המשתתפים עברו מבחן שבדק את הבנת העקרונות הבסיסיים. הציון הממוצע של הקבוצה שנעזרה ב-AI היה נמוך ב-17%, ואף קבוצה לא הציגה יתרון מהירות מדיד.

במונחים מעשיים, "vibe coding" – מתן הנחיות (prompting) ל-AI כדי להפיק קטע קוד ושליחתו לשימוש ללא בדיקה מעמיקה – אינו מגביר את הפרודוקטיביות. הוא רק מסווה פער בידע שמתפרץ מאוחר יותר כבאגים, כאבי ראש בתחזוקה או כתיבה מחדש יקרה.

ההקשר שמאחורי המספרים

המחקר של Anthropic מראה שההבטחה אינה מלאה. משתתפים שהשתמשו ב-AI בכל שלב – העתקה והדבקה של הצעות, שינוי שמות משתנים והמשך הלאה – ספגו את הכמות המועטה ביותר של ידע בתחום הבעיה. מפתחים שהתייחסו לכלי כאל שותף – שאלו שאלות מדויקות וצרות ולאחר מכן ניתחו את הקוד שהתקבל – שמרו על יותר מהמסגרת המושגית.

ההבחנה משקפת תצפית רחבה יותר בתעשייה: prompt engineers יכולים להריץ פונקציה תוך דקות, אך מהנדס מערכות נע מהר יותר ככל שהמורכבות גדלה. הם צופים מה עלול להישבר ומה עלול להיכשל בהתרחבות (scale). המהירות שלהם משקפת שיקול דעת, לא חוסר יעילות.

מי מרוויח, מי מפסיד

מהנדסים ששומרים על שיקול דעת מהנדסים שמבינים את הארכיטקטורה, יודעים היכן מבנים חייבים להיות נוקשים או גמישים, ויכולים לכתוב מחדש רכיבים מבלי לשבור את המערכת, חוסכים לארגונים כסף בטווח הארוך. מערך המיומנויות שלהם מגן מפני חוב טכני נסתר שלעיתים קרובות מלווה קוד שנוצר על ידי AI, שנראה נקי אך חסר כוונה מפורשת.

מומחי פרומפטים אלו שמתייחסים ל-AI כאל שרביט קסמים יכולים לספק אבות-טיפוס מהירים או לפתור באגים מבודדים. בטווח הקצר, הם נראים פרודוקטיביים, אך כאשר בסיס הקוד מתרחב, הנחות מוסካות בתוך קטעי קוד שנוצרו על ידי AI הופכות לנטל. ניפוי שגיאות (debugging) הופך אז לחיפוש אחר הכוונה המקורית, מה שמנפח את עלויות התחזוקה.

הארגון עסקים המסתמכים בכבדות על פיתוח מבוסס AI בלבד מסתכנים בהוצאות עתידיות גבוהות יותר: יותר זמן המוקדש לניפוי שגיאות, refactoring והכשרת מהנדסים חדשים שצריכים לפענח קוד עמום. חברות המשלבות סיוע AI עם פרקטיקות הנדסיות ממושמעות קוצרות את יתרונות המהירות תוך שמירה על יציבות לטווח ארוך.

הפרטים שרוב הדיווחים מדלגים עליהם

  • השפעה על הלמידה: הפער של ה-17% נמדד במבחן שבדק הבנה, לא רק שליפה של תחביר (syntax). זה מעיד על שחיקה אמיתית של מודלים מנטליים, לא על ידע שטחי.
  • זמן השלמת המשימה: למרות הפיתוי של קוד מיידי, המחקר לא מצא הבדל מובהק סטטיסטית בזמן שלקחה כל קבוצה לסיים את המטלה. רווחי המהירות היו אשלייתיים.
  • השיטה חשובה: המחקר הדגיש קשת של שימושי AI. הסתמכות טהורה על AI הניבה את תוצאות הלמידה הגרועות ביותר, בעוד שמתן הנחיות (prompting) סלקטיבי וסקרן הניב תוצאות טובות יותר. כותרות המכריזות ש"AI הופך את התכנות למהיר יותר" מפספסות לעיתים קרובות את הניואנס הזה.

טיעון נגד: AI אינו חסר תועלת

המחקר אינו שולל יתרונות בנישה מסוימת; הוא פשוט מזהיר מפני השלכתם על כל תהליך פיתוח התוכנה. כאשר הבעיה כוללת תכנון מערכת, אופטימיזציה של ביצועים או שיקולי אבטחה, שיקול הדעת האנושי נותר חיוני.

שורה תחתונה

AI יכול להגיש לך סקייטבורד, אך ללא ידע בבלמים ובהיגוי, תתרסק כשהדרך מתעקלת. הטכנולוגיה מורידה את רף הכתיבה של קוד, אך המחסור נותר במהנדסים שיכולים להסיק מסקנות על מערכות, לצפות כשלים ולשמור על תוכנה חיה ככל שהיא גדלה. השקעה בשיקול דעת הזה, במקום לקוות שפרומפט יחליף אותו, נותרת הדרך החכמה ביותר לשלוט בעלויות לטווח ארוך.