Los agentes de codificación de IA necesitan más pruebas que prompts

He escrito software durante 25 años. Mi flujo de trabajo ha cambiado más en los últimos ocho meses que en toda mi carrera.

Las herramientas de codificación con IA solían ser para tareas pequeñas como refactorizar o explicar errores. Construir funcionalidades grandes con IA resultaba doloroso.

Ahora, la situación es diferente. Los agentes modernos siguen un ciclo específico:

  • Leer código.
  • Cambiar código.
  • Ejecutar un comando.
  • Ver qué falló.
  • Corregirlo.
  • Repetir.

Este ciclo es potente, pero los agentes tienen dificultades con las interfaces visuales. No pueden hacer clic de forma fiable a través de una interfaz de usuario para ver si un botón funciona.

Cambié mi enfoque. Construyo las nuevas funcionalidades para que funcionen primero desde la línea de comandos.

En lugar de pedirle a un agente que "mire esta pantalla", le doy un comando:

  • npm run test:feature-x
  • node scripts/run-new-feature-client.js

A los agentes les encantan los comandos. Les proporciona un ciclo de retroalimentación ejecutable.

Mi flujo de trabajo actual es el siguiente:

  • Planificar la funcionalidad en un archivo Markdown.
  • Crear un cliente de prueba o una prueba unitaria.
  • Definir casos de prueba claros.
  • Dejar que el agente implemente la funcionalidad.
  • Dejar que el agente ejecute las pruebas repetidamente.
  • Revisar los resultados.

Una advertencia: si le dices a un agente que "haga que todas las pruebas pasen", lo hará. Podría cometer crímenes de ingeniería de software para lograrlo. Podría escribir pruebas débiles o usar bloques try/catch para ocultar errores solo para detener el mensaje de error.

Es por esto que la definición de las pruebas es mi tarea manual más importante. Debes preguntarte:

  • ¿Representa esta prueba un caso de uso real?
  • ¿Detectaría una regresión real?
  • ¿Es demasiado limitada?

En la era de la IA, el Desarrollo Guiado por Pruebas (TDD) no es solo una red de seguridad. Es el volante. Sin pruebas, un agente produce código plausible. Con buenas pruebas, un agente tiene un objetivo medible.

Otro consejo: utiliza archivos estructurados para los resultados de las pruebas. En lugar de volcar registros enormes en el chat, haz que tus scripts escriban en archivos JSON o Markdown en una carpeta.

Esto ayuda porque:

  • El agente salta directamente a los datos relevantes.
  • El contexto se mantiene pequeño.
  • El uso de tokens disminuye.
  • Ahorra dinero.

Los agentes de IA no reemplazan a los desarrolladores. Cambian nuestro enfoque. Pasamos menos tiempo escribiendo código y más tiempo:

  • Describiendo problemas con claridad.
  • Creando ciclos de retroalimentación.
  • Definiendo pruebas de calidad.
  • Revisando la arquitectura.

El futuro del desarrollo de IA no pertenece a la persona que escribe los mejores prompts. Pertenece a la persona que construye los mejores ciclos de retroalimentación.

Fuente: https://dev.to/stoefln6/ai-coding-agents-need-tests-more-than-prompts-11pm

Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi