Eine semi-autonome Pipeline mit vier Agenten kann Halluzinationen bei der explorativen Datenanalyse (EDA) reduzieren, indem sie Large Language Models (LLMs) von der Rechenarbeit fernhält und sie ausschließlich für Beurteilungen einsetzt. Das Design ermöglicht es dem Modell zu entscheiden, was untersucht werden soll, während gewöhnlicher Code, der in einer Sandbox ausgeführt wird, die eigentlichen Berechnungen durchführt und Ergebnisse liefert, die Schritt für Schritt verifiziert werden können.

Warum ein einzelner LLM-Aufruf riskant ist

Ein Prompt an ein LLM wie „Schau dir diese Tabelle an und sag mir, was interessant ist“ liefert einen einzigen Textblock. Das Modell erfindet Zahlen, vermischt Schlussfolgerungen mit dem Output und bietet keine Spur davon, wie ein Ergebnis zustande gekommen ist. Wenn es halluziniert – etwa eine erfundene Statistik oder eine Scheinkorrelation –, gibt es keinen Kontrollpunkt, um den Fehler abzufangen, bevor er den Nutzer erreicht.

Die Idee hinter einer semi-autonomen Pipeline

Der neue Workflow unterteilt die EDA in vier feste Phasen, die jeweils von einem eigenen Agenten bearbeitet werden. Die Agenten folgen einem „Plan-then-Act“-Muster: Sie entscheiden zuerst, welche Operation benötigt wird, und übergeben die Operation dann an sandboxed Code, der sie tatsächlich ausführt. Das LLM führt niemals Arithmetik oder Dateimanipulationen durch; es trifft lediglich die Entscheidung über die Relevanz.

Die vier Agenten

  1. Data-cleaning agent – überprüft Spaltentypen, markiert fehlende Werte und entscheidet über Imputations- oder Typkonvertierungsstrategien.
  2. Column-analysis agent – wählt basierend auf dem Datentyp und der Verteilung geeignete Visualisierungen (Histogramme, Boxplots usw.) für jede Variable aus.
  3. Relationship-analysis agent – bewertet jedes Spaltenpaar, entscheidet, welche Paare einen tiefergehenden statistischen Test verdienen, und ordnet sie nach ihrem potenziellen Erkenntniswert.
  4. Report-writing agent – übersetzt die generierten Diagramme und berechneten Statistiken in Erklärungen in natürlicher Sprache und hebt bemerkenswerte Muster sowie Einschränkungen hervor.

Jede Phase läuft unabhängig, sodass die Column-analysis- und Relationship-analysis-Agenten parallel ausgeführt werden können, was die Zeit für den gesamten Workflow verkürzt.

Wie die Autonomie begrenzt wird

Die Sicherheitsregel der Pipeline ist einfach: Jeder Code, den das Modell schreibt, wird in einer Sandbox ausgeführt, die es vom Host-System isoliert. Wenn die Ausführung fehlschlägt, wird der Fehler an das Modell zurückgemeldet, das bis zu zwei Versuche hat, das Skript zu korrigieren, bevor die Pipeline abbricht. Dies verhindert Endlosschleifen und garantiert, dass das Modell niemals direkt Dateien manipuliert oder Berechnungen durchführt.

Da die Rolle des Modells darauf beschränkt ist zu entscheiden, was berechnet werden soll, stammen die tatsächlichen Zahlen immer aus deterministischem Code. Wenn der Relationship-analysis-Agent einen Zusammenhang zwischen „Order ID“ und „Month“ vermutet, führt die Sandbox eine Korrelationsfunktion aus, gibt den präzisen Wert zurück, und erst dann kommentiert das Modell, ob die Korrelation wahrscheinlich kausal oder zufällig ist.

Was dies löst – und was es kostet

Reduzierte Halluzinationen. Durch die Trennung von Schlussfolgerung und Berechnung eliminiert die Pipeline die häufigste Quelle erfundener Statistiken: dass das Modell Zahlen rät, anstatt sie durch Code generieren zu lassen.

Modularität. Das Hinzufügen einer neuen Phase – zum Beispiel eines Agenten für Zeitreihenprognosen – erfordert nicht das Umschreiben des gesamten Prompts. Jeder Agent ist ein eigenständiges Modul, das in die feste Sequenz eingegliedert wird.

Geschwindigkeitsvorteile. Die parallele Ausführung unabhängiger Agenten verkürzt die reale Durchlaufzeit im Vergleich zu einem monolithischen LLM-Aufruf, der jeden Schritt nacheinander ausführen muss.

Komplexitätsaufwand. Der Nachteil ist eine aufwendigere Architektur. Teams müssen die Sandbox-Umgebung warten, Fehler-Rückkopplungsschleifen handhaben und mehrere Agenten orchestrieren.

Worauf man als Nächstes achten sollte

  • Tooling-Integrationen. Open-Source-Frameworks, die den Schritt der Sandbox-Ausführung abstrahieren, könnten den Entwicklungsaufwand verringern und das Muster zugänglicher machen.
  • Standardisierte Agenten-Verträge. Da immer mehr Teams Multi-Agenten-Pipelines einsetzen, könnten gemeinsame Schnittstellen für „Plan-then-Act“-Agenten entstehen, was die Interoperabilität erleichtert.

Die Kernbotschaft ist klar: Geben Sie dem LLM die Freiheit zu denken, aber nicht die Macht zu rechnen. Indem man seine Autonomie auf die Beurteilung beschränkt und jede Zahl durch isolierten Code leitet, liefert eine semi-autonome EDA-Pipeline Ergebnisse, die man prüfen, vertrauen und teilen kann, ohne Phantomzahlen befürchten zu müssen.

Quelle: https://dev.to/sraveend/agentic-but-only-semi-autonomous-designing-an-eda-pipeline-you-can-trust-4ha9
Community-Diskussion: https://t.me/GyaanSetuAi