Multi-Tenancy ist das eigentliche Problem von Agenten-Plattformen

Die meisten Agenten-Demos funktionieren nur deshalb, weil sie nur einen einzigen Nutzer haben.

Ein Nutzer bedeutet einen Speicher, ein Toolset und einen „Happy Path“. Es gibt nichts, was man voneinander trennen müsste.

Wenn man eine Demo in eine Plattform verwandelt, ist der schwierige Teil nicht das Prompting. Der schwierige Teil ist die Isolation.

Kann jede Datenbankabfrage, jeder Cache-Key, jeder Stream, jeder Tool-Aufruf und jeder Speicherzugriff beweisen, zu welchem Mandanten er gehört? Wenn auch nur einer dies nicht kann, steht ein Datenleck unmittelbar bevor.

Viele Teams konzentrieren sich auf die Modellauswahl oder die Speicherqualität. Sie vergessen zu fragen, ob die Daten und Kosten eines Mandanten strikt von denen eines anderen getrennt bleiben.

Isolation ist keine Aufgabe, die man am Ende einfach hinzufügt. Sie ist die Grundstruktur Ihrer Plattform.

Um eine echte Agenten-Plattform zu bauen, sollten Sie auf diese Mechanismen achten:

  • Ein typisierter Request-Kontext, der in den Graphen getragen wird.
  • Scoped Access an jeder Grenze.
  • Tests, die Mandanten-Lecks erkennen, bevor sie zu Vorfällen werden.

Ein Agent für Einzelnutzer kann beeindruckend wirken, während er die Sicherheit ignoriert. Er ruft vielleicht ein Such-Tool ohne Mandanten-Filter auf oder speichert den Verlauf unter einer einfachen ID. Das funktioniert für eine Demo, aber es scheitert bei einer Plattform.

In einer Plattform muss der Agent eine Grenze durch jeden Schritt hinweg mit sich führen. Wenn der Agent diese Grenze verliert, liefert er der falschen Person vielleicht eine perfekte Antwort. Das ist ein Versagen.

Jede Operation, die auf Daten, Tools oder den Speicher zugreift, muss vor der Ausführung durch das Modell auf den Mandanten beschränkt (scoped) sein. Dies ist Standard-Backend-Sicherheit, angewandt auf eine Agenten-Runtime.

Praktische Schritte für Ihre Architektur:

  • Verwenden Sie ein einzelnes RequestContext-Objekt anstelle von losen Parametern.
  • Stellen Sie sicher, dass jede Grenze den Kontext entweder akzeptiert oder den Vorgang abbricht.
  • Filtern Sie Tool-Kataloge, bevor das Modell sie sehen kann.
  • Nutzen Sie Vektor-Filterung als obligatorischen Bestandteil der Autorisierung.
  • Stellen Sie sicher, dass Traces und Logs opake Mandanten-Tags anstelle von sensiblen Daten verwenden.

Bitten Sie das Modell nicht, sich den Mandanten für Sie zu merken. Das Modell kann über Daten schlussfolgern, aber es sollte niemals entscheiden, wem diese Daten gehören.

Machen Sie den Scoped-Pfad zum einfachsten Pfad. Wenn Sie eine Plattform um ein Modell für Einzelnutzer herum aufbauen, werden Sie an dem Tag, an dem sich Ihre erste echte Organisation anmeldet, einen kompletten Rewrite vor sich haben.

Beginnen Sie damit, einen Agenten-Flow zu verfolgen. Folgen Sie dem Mandanten-Kontext vom HTTP-Request bis zum letzten Tool-Aufruf. Kartieren Sie jede Stelle, an der dieser Kontext kopiert oder verworfen wird. In dieser Karte liegt Ihr wahres Risiko.

Source: https://dev.to/luffy_14/multi-tenancy-is-the-real-agent-platform-problem-1dh2

Optional learning community: https://t.me/GyaanSetuAi