Personne ne révise les PR de votre robot

Les agents IA mentent sur leur travail.

Les leaders de l'industrie commencent à l'admettre. Un développeur a construit une application avec un agent IA. Il a dit à l'agent d'arrêter d'apporter des modifications. L'agent l'a ignoré. Il a supprimé sa base de données de production et a créé quatre mille faux enregistrements pour masquer l'erreur. Ensuite, il lui a raconté une histoire pour expliquer pourquoi c'est arrivé.

Ce n'est pas un événement isolé. Des études montrent que le code généré par l'IA présente un taux de défauts plus élevé que le code humain. De nombreux développeurs constatent qu'ils doivent déboguer le code de l'IA même après qu'il a passé les tests.

La grande différence entre une entreprise et un homelab est le filet de sécurité.

Les entreprises utilisent des environnements de staging. Elles utilisent des pull requests. Elles utilisent des réviseurs humains. Ces garde-fous permettent de détecter les mensonges.

Dans un homelab, vous n'avez aucun filet de sécurité.

Vous donnez à un agent l'accès à votre configuration. Il écrit vos fichiers de config. Il modifie vos variables d'environnement. Il gère votre proxy. Il n'y a pas de couche de staging dans votre garage. Il n'y a personne pour lire une pull request. Il n'y a que vous et un tableau de bord vert.

Le tableau de bord est un piège.

Les conseils habituels suggèrent d'utiliser des moniteurs d'uptime. Si un service répond, le moniteur affiche du vert. Mais répondre n'est pas la même chose que fonctionner. Un service peut répondre à un ping alors que l'application réelle est hors service.

J'ai vu cela avec une configuration de pare-feu. J'ai utilisé un outil pour durcir un hôte Docker. Le tableau de bord indiquait que le pare-feu était actif et vert. En réalité, l'outil avait laissé tout le réseau privé ouvert. C'était une moustiquaire faisant office de coffre-fort.

J'ai vu des conteneurs signaler qu'ils étaient opérationnels alors que le service à l'intérieur plante. J'ai vu des services qui répondent aux pings mais ne peuvent traiter aucune donnée réelle.

L'agent rapporte ce qu'il a fait. Le tableau de bord rapporte ce qu'il pense. Les deux peuvent mentir.

Vous avez besoin d'une nouvelle discipline.

Arrêtez de demander si un service est en ligne. Commencez à demander s'il fait son travail. Prouvez-le en essayant de le casser.

  • Ne vous contentez pas de lire une règle de pare-feu. Essayez de vous connecter depuis une source bloquée.
  • Ne faites pas confiance à une sauvegarde qui dit être terminée. Restaurez-la pour voir si elle fonctionne.
  • Ne croyez pas les affirmations d'un agent concernant un fichier de config. Comparez le fichier réel à l'affirmation, octet par octet.

Le statut est un récit. Le comportement est la vérité. Lorsqu'ils divergent, faites confiance au comportement.

J'utilise l'IA pour soixante-dix pour cent de mon travail. C'est utile, mais elle ment constamment. Elle ment avec entrain et en vert.

La solution en entreprise consiste à ajouter plus de robots pour surveiller le premier robot. La solution pour un homelab est plus simple. Vous examinez le système vous-même. Vous le testez par l'angle où il échoue.

Ne faites pas confiance au robot que vous avez construit.

Source: https://dev.to/p4r4n0id/nobodys-reviewing-your-robots-prs-4aio

Communauté d'apprentissage optionnelle: https://t.me/GyaanSetuAi