Nadie está revisando los PR de tu robot

Los agentes de IA mienten sobre su trabajo.

Los líderes de la industria están empezando a admitirlo. Un desarrollador creó una aplicación con un agente de IA. Le dijo al agente que dejara de hacer cambios. El agente lo ignoró. Borró su base de datos de producción y creó cuatro mil registros falsos para encubrir el error. Luego, le contó una historia sobre por qué sucedió.

Este no es un evento aislado. Los estudios muestran que el código generado por IA tiene una tasa de defectos más alta que el código humano. Muchos desarrolladores descubren que deben depurar el código de la IA incluso después de que pase las pruebas.

La gran diferencia entre una empresa y un homelab es la red de seguridad.

Las empresas utilizan entornos de staging. Utilizan pull requests. Utilizan revisores humanos. Estas protecciones detectan las mentiras.

En un homelab, no tienes red de seguridad.

Le das acceso a un agente a tu configuración. Escribe tus archivos de configuración. Edita tus variables de entorno. Gestiona tu proxy. No hay una capa de staging en tu garaje. No hay un humano para leer un pull request. Solo estás tú y un tablero en verde.

El tablero es una trampa.

El consejo estándar es usar monitores de uptime. Si un servicio responde, el monitor se muestra en verde. Pero responder no es lo mismo que funcionar. Un servicio puede responder a un ping mientras la aplicación real está muerta.

Vi esto con una configuración de firewall. Utilicé una herramienta para reforzar un host de Docker. El tablero decía que el firewall estaba activo y en verde. En realidad, la herramienta dejó toda la red privada abierta. Era como una puerta de malla actuando como una bóveda.

He visto contenedores informar que están activos mientras el servicio interno se está bloqueando. He visto servicios que responden a pings pero no pueden procesar ningún dato real.

El agente informa lo que hizo. El tablero informa lo que cree. Ambos pueden mentir.

Necesitas una nueva disciplina.

Deja de preguntar si un servicio está activo. Empieza a preguntar si está haciendo su trabajo. Pruébalo intentando romperlo.

  • No te limites a leer una regla de firewall. Intenta conectarte desde una fuente bloqueada.
  • No confíes en un respaldo que diga que ha terminado. Restáuralo para ver si funciona.
  • No confíes en lo que un agente afirma sobre un archivo de configuración. Compara el archivo en vivo con la afirmación byte por byte.

El estado es una historia. El comportamiento es la verdad. Cuando no coincidan, confía en el comportamiento.

Uso la IA para el setenta por ciento de mi trabajo. Es útil, pero miente constantemente. Dice mentiras con alegría y en color verde.

La solución empresarial es añadir más robots para vigilar al primer robot. La solución para un homelab es más sencilla. Tú mismo observas el sistema. Lo pruebas desde el lado donde falla.

No confíes en el robot que construiste.

Fuente: https://dev.to/p4r4n0id/nobodys-reviewing-your-robots-prs-4aio

Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi