Optimierung der KI-Observability in Mastra
OpenTelemetry ist der Standard für das Monitoring moderner Systeme. Traditionelle Traces funktionieren für die meisten Softwareanwendungen. Bei KI-Anwendungen scheitern sie jedoch.
Wenn Sie KI entwickeln, benötigen Sie spezifische Antworten: • Welches Modell hat die Ausgabe generiert? • Welchen Provider haben Sie verwendet? • Wie viele Token wurden verbraucht? • Welches Embedding-Modell hat Ihre Dokumente verarbeitet? • Wie hoch waren die Kosten der Operation?
Diese Fragen sind in Retrieval-Augmented Generation (RAG)-Systemen am wichtigsten.
Während meiner Mitarbeit an Mastra stellte ich eine Lücke in der Observability von RAG-Embeddings fest. Mastra exportierte Metadaten für viele KI-Aufgaben, aber den RAG-Embedding-Spans fehlten standardisierte Attribute.
Observability-Tools erkannten zwar die Embedding-Operation, verstanden jedoch den Kontext nicht. Details zum Modell, Informationen zum Provider und die Token-Nutzung gingen verloren.
Eine RAG-Pipeline folgt diesen Schritten: • Dokumente • Chunking • Embedding-Modell • Vektordatenbank • Ähnlichkeitssuche • LLM-Generierung
Die Embedding-Phase ist entscheidend. Wenn hier Daten fehlen, wird das Debugging der Performance schwierig.
OpenTelemetry nutzt semantische Konventionen, um eine gemeinsame Sprache zu schaffen. Anstatt dass jedes Tool eigene Namen verwendet, folgt jeder einem Standard. Dies ermöglicht es Tools, Attribute wie diese zu lesen: • gen_ai.system • gen_ai.request.model • gen_ai.usage.input_tokens
Ich habe einen Pull Request eingereicht, um die RAG-Embedding-Daten von Mastra auf diese OpenTelemetry-Standards abzubilden.
Die Arbeit umfasste: • Export der Metadaten des Embedding-Modells • Export von Provider-Informationen • Abbildung der Token-Nutzungsmetriken • Abstimmung der Attribute mit globalen Standards
Dies ermöglicht es Observability-Systemen, Embeddings ohne benutzerdefinierten Code zu verstehen.
KI-Systeme in der Produktion benötigen Transparenz. Man muss wissen, welches Modell Latenzen verursacht oder welcher Provider die höchsten Kosten verursacht. Standardisierte Telemetrie liefert diese Antworten automatisch.
Open Source lehrt eine wichtige Lektion. Nicht jeder gute Beitrag fügt ein neues Feature hinzu. Manchmal besteht die beste Arbeit darin, bestehende Systeme einfacher monitorbar und betreibbar zu machen.
Wenn Sie KI-Infrastruktur aufbauen, ignorieren Sie die Observability nicht. Die besten KI-Systeme sind beobachtbar.
Optionale Lern-Community: https://t.me/GyaanSetuAi