Вартість перевірки — це справжня вартість програмування за допомогою ШІ

Раніше, коли я обирав ШІ-модель для програмування, я ставив лише одне запитання.

Яка модель достатньо потужна для цього завдання?

Це нормальне запитання. Але воно більше не є моїм першим.

Краще запитання таке: Як швидко я зможу перевірити результат?

Такий підхід змінює те, як ви використовуєте дешеві моделі. Не сприймайте їх як слабші версії великих моделей. Сприймайте їх як виконавців для завдань із коротким шляхом перевірки.

Деякі завдання дешеві в перевірці, тому що ви можете миттєво побачити результат.

• Очищення README • Приклади використання • Коментарі до коду • Нотатки до changelog • Невеликі скрипти форматування • Шаблони issue

Якщо модель напише поганий абзац у README, ви це помітите. Ви просто видалите невдалу частину. Помилка дратує, але вона майже нічого вам не коштує. Це найкращий спосіб використання дешевих моделей.

Наступна категорія — завдання, що піддаються тестуванню.

Якщо ви можете визначити очікувану поведінку та запустити набір тестів, використовуйте дешевшу модель для першого чернетки. Ви повинні надати моделі чіткі межі.

Не кажіть: Додай тести для цього хелпера.

Кажіть: Додай тести для порожнього вводу, null-вводу, дубльованих значень, невалідного конфігу, конфігу за замовчуванням та звичайного вводу. Не змінюй runtime-код.

Це змушує модель працювати в межах рамки перевірки.

Деяким завданням бракує автоматизованих тестів, але вони дозволяють проводити чіткі ручні перевірки.

• Форматування виводу CLI • Приклади конфігурації • Нотатки до тестового запуску (dry run) міграцій • Невеликі скрипти конвертації даних

Для таких завдань просіть модель додати:

  • Як запустити код
  • Які вхідні дані використовувати
  • Якого результату очікувати
  • Які граничні випадки перевірити

Якщо модель не може пояснити, як перевірити власну роботу, не довіряйте цьому коду.

Невеликі рефакторинги є небезпечними. Diff може виглядати коротким і чистим. Але поведінка може змінитися у прихованому шляху, значенні за замовчуванням або перевірці прав доступу.

Підвищуйте рівень обережності, якщо завдання стосується:

  • Fallbacks (резервних варіантів)
  • Значень за замовчуванням
  • Роутингу
  • Прав доступу
  • Білінгу
  • Rate limits (обмежень частоти запитів)
  • Міграцій
  • Зворотної сумісності

Ці помилки важко помітити під час стандартного code review. Вони потребують глибокого контексту.

Розподіляйте роботу залежно від вартості перевірки:

  • Низька вартість перевірки: використовуйте дешеву модель для створення чернетки.
  • Середня вартість перевірки: використовуйте дешеву модель, а потім редагуйте вручну.
  • Висока вартість перевірки: використовуйте потужну модель із тестами та перевіркою людиною.

Розмір не має значення. Маленьке завдання може бути дорогим, якщо його важко перевірити.

Найдорожча частина програмування за допомогою ШІ — це не генерація. Це довіра.

Source: https://dev.to/zephyrelabs369/verification-cost-is-the-real-ai-coding-cost-1354

Optional learning community: https://t.me/GyaanSetuAi