Jake Williams, ein Sicherheitsforscher, hat diese Woche das CUSTODY-Framework vorgestellt, das Unternehmen eine Möglichkeit bietet, explizite Laufzeitberechtigungen und Grenzen für KI-Agenten festzulegen, die innerhalb von Unternehmensnetzwerken operieren. Das Tool ist deshalb so wichtig, weil KI-Agenten im Gegensatz zu herkömmlicher Software dynamisch Daten abrufen, Dienste aufrufen und Modelle modifizieren können – und das alles ohne eine klare, durchsetzbare Richtlinie –, was eine Lücke hinterlässt, die Angreifer bereits auszunutzen begonnen haben.

Warum KI-Agenten einen Schutzwall benötigen

Enterprise-KI-Stacks umfassen mittlerweile Chatbots, Empfehlungs-Engines, autonome Entscheidungsträger und Dutzende von Hintergrund-Agenten, die Daten aus internen APIs oder Diensten von Drittanbietern abrufen. Bestehende Sicherheits-Suites konzentrieren sich auf Perimeter-Firewalls, Endpunktschutz und Netzwerksegmentierung, aber es fehlt ihnen an einer standardisierten Methode, um festzulegen: „Dieser Agent darf Kundendaten lesen, aber nicht in die Finanzdatenbank schreiben.“ Das Fehlen solcher Laufzeitkontrollen hat bereits zu Vorfällen geführt, bei denen kompromittierte Agenten dazu verwendet wurden, Daten zu exfiltrieren oder Modellgewichte zu korrumpieren.

Wie CUSTODY die Lücke schließt

CUSTODY führt eine regelbasierte Sprache ein, die beschreibt, was ein KI-Agent tun darf, sobald er sich mit einem Netzwerk verbindet. Richtlinien können Folgendes spezifizieren:

  • Ressourcenzugriff – welche Datenbanken, Datenspeicher oder APIs der Agent abfragen darf.
  • Aktionsbeschränkungen – ob der Agent nur lesen oder auch schreiben, löschen oder nachgelagerte Prozesse (Downstream Jobs) auslösen darf.
  • Ausführungskontext – Einschränkungen für die Rechenumgebung, wie etwa CPU-Quoten oder Container-Isolierung.

Zur Laufzeit fängt das Framework die Aufrufe des Agenten ab und prüft sie gegen den festgelegten Richtliniensatz, wobei jeder Vorgang blockiert wird, der außerhalb der definierten Grenzen liegt. Dies verhindert, dass ein gehackter Agent unkontrolliert durch die Unternehmensumgebung wandert.

Integration von CUSTODY in bestehende Stacks

Das Framework arbeitet neben aktuellen Sicherheitswerkzeugen. Es kann sich in gängige Orchestrierungsplattformen, Container-Laufzeitumgebungen und API-Gateways einklinken, wobei die genauen Schritte je nach der zugrunde liegenden Agenten-Plattform variieren. Unternehmen müssen ihr KI-Inventar erfassen, Richtlinien-Dateien für jede Klasse von Agenten erstellen und die Durchsetzungsebene vor dem vollständigen Rollout testen. Die Skalierung dieser Richtlinien auf Dutzende von Agenten wird einen dedizierten operativen Aufwand erfordern, um die Regeln mit der Weiterentwicklung der Modelle aktuell zu halten.

Einschränkungen und Kritik

Kritiker merken an, dass CUSTODY keine Richtlinien automatisch generiert; Sicherheitsteams müssen diese manuell erstellen, was arbeitsintensiv sein kann. Zudem besteht das Risiko eines Performance-Overheads, wenn jeder Aufruf in Echtzeit überprüft wird, insbesondere bei Hochdurchsatz-Inferenzdiensten. Schließlich hängt die Wirksamkeit des Frameworks von einer breiten Akzeptanz ab – wenn die KI-Plattform eines Anbieters die notwendigen Hooks nicht bereitstellt, könnten die Kontrollen von CUSTODY umgangen werden.

Worauf man als Nächstes achten sollte

  • Reaktion der Anbieter – ob große Anbieter von KI-Plattformen CUSTODY-kompatible Hooks integrieren oder eigene Runtime-Policy-Engines anbieten werden.
  • Standardisierung – jede Bewegung hin zu branchenweiten Spezifikationen für KI-Agenten-Berechtigungen könnte CUSTODY zu einem De-facto-Standard machen.
  • Community-Feedback – Early Adopter werden die Komplexität der Richtlinien in der Praxis und die Auswirkungen auf die Performance aufzeigen und so zukünftige Versionen mitgestalten.

Unternehmen, die sich auf KI-Agenten verlassen, sollten CUSTODY jetzt evaluieren, prüfen, wo es in ihren Security-Stack passt, und mit Pilotprojekten für Richtlinien beginnen, bevor die nächste Welle KI-gestützter Angriffe ihre Netzwerke trifft.