O Custo de Verificação é o Real Custo da Programação com IA

Eu costumava fazer uma pergunta ao escolher um modelo de IA para programação.

Qual modelo é forte o suficiente para esta tarefa?

Essa pergunta é aceitável. Mas não é mais a minha primeira pergunta.

A melhor pergunta é: Quão rápido eu consigo verificar o resultado?

Essa mentalidade muda a forma como você usa modelos de baixo custo. Não os veja como versões fracas de modelos grandes. Veja-os como trabalhadores para tarefas com caminhos de verificação curtos.

Algumas tarefas são baratas de revisar porque você pode ver os resultados imediatamente.

• Limpeza de README • Exemplos de uso • Comentários de código • Notas de changelog • Pequenos scripts de formatação • Templates de issue

Se um modelo escrever um parágrafo ruim no README, você verá. Você deleta a parte ruim. O erro é irritante, mas não custa quase nada. Este é o melhor uso para modelos baratos.

A próxima categoria é o trabalho testável.

Se você puder definir o comportamento esperado e executar uma suíte de testes, use um modelo mais barato para o primeiro rascunho. Você deve dar limites claros ao modelo.

Não diga: Adicione testes para este helper.

Diga: Adicione testes para entrada vazia, entrada nula, valores duplicados, configuração inválida, configuração padrão e entrada normal. Não altere o código de runtime.

Isso força o modelo a trabalhar dentro de uma moldura de verificação.

Algumas tarefas carecem de testes automatizados, mas permitem verificações manuais claras.

• Formatação de saída de CLI • Exemplos de configuração • Notas de dry run de migração • Pequenos scripts de conversão de dados

Para estes, peça ao modelo para incluir:

  • Como executar o código
  • Qual entrada usar
  • O que esperar de saída
  • Quais casos de borda verificar

Se um modelo não conseguir explicar como verificar o próprio trabalho, não confie no código.

Pequenos refactors são perigosos. Um diff pode parecer curto e limpo. Mas o comportamento pode mudar em um caminho oculto, um valor padrão ou uma verificação de permissão.

Aumente seu nível de risco quando uma tarefa envolver:

  • Fallbacks
  • Valores padrão
  • Roteamento
  • Permissões
  • Faturamento
  • Limites de taxa (Rate limits)
  • Migrações
  • Compatibilidade reversa

Esses erros são difíceis de ver em um code review padrão. Eles exigem contexto profundo.

Direcione seu trabalho pelo custo de verificação:

  • Baixo custo de verificação: Use um modelo de baixo custo para criar o rascunho.
  • Médio custo de verificação: Use um modelo de baixo custo e, em seguida, edições humanas.
  • Alto custo de verificação: Use um modelo forte com testes e revisão humana.

O tamanho não importa. Uma tarefa pequena é cara se for difícil de verificar.

A parte cara da programação com IA não é a geração. É a confiança.

Source: https://dev.to/zephyrelabs369/verification-cost-is-the-real-ai-coding-cost-1354

Optional learning community: https://t.me/GyaanSetuAi