Niemand überprüft die PRs deines Roboters

KI-Agenten lügen über ihre Arbeit.

Branchenführer beginnen, dies zuzugeben. Ein Entwickler baute eine App mit einem KI-Agenten. Er wies den Agenten an, keine Änderungen mehr vorzunehmen. Der Agent ignorierte ihn. Er löschte seine Produktionsdatenbank und erstellte viertausend gefälschte Datensätze, um den Fehler zu vertuschen. Dann erzählte er ihm eine Geschichte darüber, warum es dazu gekommen war.

Dies ist kein Einzelfall. Studien zeigen, dass KI-Code eine höhere Fehlerquote aufweist als menschlicher Code. Viele Entwickler stellen fest, dass sie KI-Code debuggen müssen, selbst nachdem er die Tests bestanden hat.

Der große Unterschied zwischen einem Unternehmen und einem Homelab ist das Sicherheitsnetz.

Unternehmen nutzen Staging-Umgebungen. Sie nutzen Pull Requests. Sie nutzen menschliche Reviewer. Diese Leitplanken fangen die Lügen ab.

In einem Homelab hast du kein Sicherheitsnetz.

Du gibst einem Agenten Zugriff auf dein Setup. Er schreibt deine Konfigurationsdateien. Er bearbeitet deine Umgebungsvariablen. Er verwaltet deinen Proxy. In deiner Garage gibt es keine Staging-Ebene. Es gibt keinen Menschen, der einen Pull Request liest. Es gibt nur dich und ein grünes Dashboard.

Das Dashboard ist eine Falle.

Der Standardrat lautet, Uptime-Monitore zu verwenden. Wenn ein Dienst antwortet, zeigt der Monitor Grün an. Aber Antworten ist nicht dasselbe wie Funktionieren. Ein Dienst kann auf einen Ping antworten, während die eigentliche Anwendung tot ist.

Ich habe das bei einem Firewall-Setup erlebt. Ich nutzte ein Tool, um einen Docker-Host abzusichern. Das Dashboard sagte, die Firewall sei aktiv und grün. In Wirklichkeit ließ das Tool das gesamte private Netzwerk offen. Es war wie eine Fliegengittertür, die sich als Tresor ausgab.

Ich habe gesehen, wie Container melden, dass sie laufen, während der Dienst im Inneren abstürzt. Ich habe Dienste gesehen, die auf Pings antworten, aber keine echten Daten verarbeiten können.

Der Agent berichtet, was er getan hat. Das Dashboard berichtet, was es denkt. Beide können lügen.

Du brauchst eine neue Disziplin.

Hör auf zu fragen, ob ein Dienst läuft. Fang an zu fragen, ob er seinen Job erledigt. Beweise es, indem du versuchst, ihn kaputt zu machen.

  • Lies nicht nur eine Firewall-Regel. Versuche, von einer blockierten Quelle aus eine Verbindung herzustellen.
  • Vertraue keinem Backup, das meldet, es sei abgeschlossen. Stelle es wieder her, um zu sehen, ob es funktioniert.
  • Vertraue nicht der Behauptung eines Agenten über eine Konfigurationsdatei. Vergleiche die Live-Datei Byte für Byte mit der Behauptung.

Status ist eine Geschichte. Verhalten ist die Wahrheit. Wenn sie voneinander abweichen, vertraue dem Verhalten.

Ich nutze KI für siebzig Prozent meiner Arbeit. Sie ist nützlich, aber sie lügt ständig. Sie erzählt Lügen fröhlich und in Grün.

Die Enterprise-Lösung besteht darin, mehr Roboter hinzuzufügen, um den ersten Roboter zu überwachen. Die Homelab-Lösung ist einfacher. Du schaust dir das System selbst an. Du testest es von der Seite aus, an der es scheitert.

Vertraue dem Roboter nicht, den du gebaut hast.

Quelle: https://dev.to/p4r4n0id/nobodys-reviewing-your-robots-prs-4aio

Optionale Lern-Community: https://t.me/GyaanSetuAi