Стоимость проверки — это и есть реальная стоимость ИИ-кодинга

Раньше при выборе ИИ-модели для написания кода я задавал один вопрос.

Какая модель достаточно мощная для этой задачи?

Этот вопрос вполне уместен. Но теперь он больше не первый.

Лучший вопрос звучит так: Как быстро я смогу проверить результат?

Такой подход меняет способ использования дешевых моделей. Не рассматривайте их как слабые версии больших моделей. Воспринимайте их как исполнителей задач с коротким путем проверки.

Некоторые задачи дешевы в плане проверки, потому что результат виден сразу.

• Очистка README • Примеры использования • Комментарии к коду • Заметки в списке изменений (changelog) • Небольшие скрипты форматирования • Шаблоны issue

Если модель напишет плохой абзац в README, вы это сразу заметите. Вы просто удалите неудачную часть. Ошибка раздражает, но она почти ничего вам не стоит. Это лучший способ использования дешевых моделей.

Следующая категория — задачи, поддающиеся тестированию.

Если вы можете определить ожидаемое поведение и запустить набор тестов, используйте более дешевую модель для создания черновика. Вы должны задать модели четкие границы.

Не говорите: Добавь тесты для этого хелпера.

Говорите: Добавь тесты для пустого ввода, ввода null, дублирующихся значений, неверной конфигурации, конфигурации по умолчанию и обычного ввода. Не меняй рабочий код.

Это заставляет модель работать в рамках процесса проверки.

Некоторым задачам не хватает автоматизированных тестов, но они допускают четкую ручную проверку.

• Форматирование вывода CLI • Примеры конфигурации • Заметки по пробному запуску миграции (dry run) • Небольшие скрипты конвертации данных

Для таких задач просите модель включить:

  • Как запустить код
  • Какие входные данные использовать
  • Какого результата ожидать
  • Какие граничные случаи проверить

Если модель не может объяснить, как проверить её собственную работу, не доверяйте этому коду.

Небольшие рефакторинги опасны. Дифф может выглядеть коротким и чистым, но поведение может измениться в скрытом пути, значении по умолчанию или проверке прав доступа.

Повышайте уровень осторожности, если задача затрагивает:

  • Резервные механизмы (fallbacks)
  • Значения по умолчанию
  • Маршрутизацию
  • Права доступа
  • Биллинг
  • Лимиты запросов (rate limits)
  • Миграции
  • Обратную совместимость

Такие ошибки трудно заметить при обычном код-ревью. Они требуют глубокого понимания контекста.

Распределяйте работу в зависимости от стоимости проверки:

  • Низкая стоимость проверки: используйте дешевую модель для создания черновика.
  • Средняя стоимость проверки: используйте дешевую модель, затем правки человеком.
  • Высокая стоимость проверки: используйте мощную модель с тестами и проверкой человеком.

Размер не имеет значения. Маленькая задача может быть дорогой, если её трудно проверить.

Самая дорогая часть ИИ-кодинга — это не генерация. Это доверие.

Source: https://dev.to/zephyrelabs369/verification-cost-is-the-real-ai-coding-cost-1354

Optional learning community: https://t.me/GyaanSetuAi