Kommentar von Gabriel-James Safar, Tsuga Observability für KI ist der blinde Fleck im Enterprise-Betrieb

Ein KI-Agent prüft einen Kreditantrag. Er interpretiert eine interne Regel minimal falsch. Der Fehler wird im nächsten Workflow-Schritt übernommen, anschließend von zwei weiteren Agenten verarbeitet – und landet schließlich als falsche Entscheidung beim Kunden. Niemand kann später nachvollziehen, an welcher Stelle der Fehler entstanden ist. Genau solche Fehler werden Unternehmen künftig stärker beschäftigen als die Frage, ob ein Sprachmodell gelegentlich halluziniert.

Observability wird für Künstliche Intelligenz (KI) das, was Monitoring und Testing für das Software-Engineering war: kein optionales Add-on, sondern die Voraussetzung dafür, dass KI-Systeme im Unternehmenskontext skalieren können. Damit rückt eine andere Frage in den Mittelpunkt: Wie lassen sich Entscheidungen, Fehler und Risiken in agentenbasierten Systemen überhaupt nachvollziehen?

Warum Halluzinationen nicht das Hauptproblem sind

Der KI-Diskurs in Unternehmen kreist nach wie vor um Halluzinationen. Das Thema ist berechtigt, aber es wird überbewertet. Aktuelle Modelle zeigen in einschlägigen Benchmarks messbare Verbesserungen bei der Ausgabezuverlässigkeit. Halluzinationen bleiben ein Faktor, insbesondere bei faktenintensiven oder regulierten Anwendungsfällen.

Das eigentliche Problem ist operativer Natur. Viele der gravierendsten Schwierigkeiten im Enterprise-Einsatz entstehen nicht durch einzelne Halluzinationen, sondern durch Fehlerakkumulation in längeren Arbeitsabläufen. Kleine Ungenauigkeiten in einem frühen Schritt beeinflussen nachfolgende Entscheidungen, die wiederum weitere Fehler erzeugen. Mit jeder zusätzlichen Aktion wächst die Abweichung vom ursprünglichen Ziel.

Wie Fehler sich aufschaukeln

Je länger und komplexer ein KI-gestützter Workflow ist, desto stärker können sich solche Abweichungen verstärken. Das Ergebnis kann wie Informationsverlust, falsche Kontextübernahme oder eine schleichende Verzerrung des Arbeitsergebnisses aussehen. Die eigentliche Ursache ist jedoch meist kumulative Fehlerpropagation – nicht eine einzelne fehlerhafte Antwort des Modells.

Besonders deutlich wird das in automatisierten Geschäftsprozessen. In Kreditprüfungen, Schadenbearbeitungen oder Know-Your-Customer-Prozessen (KYC) durchlaufen KI-Systeme häufig zahlreiche Entscheidungsschritte. Plattformen wie Camunda ermöglichen die Orchestrierung solcher Abläufe über verschiedene Systeme hinweg. Wird eine Regel bereits in einem frühen Schritt falsch interpretiert, kann sich dieser Fehler durch den gesamten Workflow fortpflanzen. Ohne Einblick in einzelne Entscheidungsschritte wird die Ursachenanalyse schnell zur Suche nach der Nadel im Heuhaufen.

Das Modell ist nur ein Teil des Systems

Warum passiert das? Ein nützliches Bild: Das Large Language Model ist das Gehirn, das operative Systemumfeld – in der KI-Entwicklung häufig als „Harness", also als Ausführungs- und Steuerungsrahmen, bezeichnet – ist der Körper. Das Modell liefert Sprachverständnis und Schlussfolgerungen. Das operative Systemumfeld stellt die Werkzeuge, Regeln und Prozesse bereit, die es dem Modell ermöglichen, sicher und kontrolliert zu handeln.

Ein solches Systemumfeld umfasst typischerweise Zugang zu Kommandozeilen-Interfaces, Websearch, Dokumentenabrufsystemen, Code-Ausführungsumgebungen, Speichersystemen und APIs. Es enthält außerdem die Anweisungen und Leitplanken, die das Verhalten steuern: von der Aufforderung, Informationen vor einer Aktion zu verifizieren, bis zu fest codierten Validierungsregeln, die unsichere Ausgaben verhindern.

KI-Governance

Gartner: 40 Prozent der Unternehmen werden autonome KI-Agenten zurückstufen

In Unternehmen entscheidet dieses Systemumfeld darüber, auf welche Datenquellen ein KI-System zugreifen darf, welche Genehmigungsprozesse berücksichtigt werden müssen und welche Aktionen automatisiert ausgeführt werden können. Die Qualität dieses Umfelds ist häufig genauso entscheidend wie die Qualität des Modells. Selbst das leistungsfähigste Modell scheitert in einer schlecht konzipierten Umgebung. Umgekehrt kann ein gut strukturiertes Systemumfeld Zuverlässigkeit, Wiederholbarkeit und Leistung erheblich verbessern.

Observability als Antwort

Genau an dieser Stelle kommt Observability ins Spiel. Im klassischen Software-Engineering liefert sie Einblick in das, was Systeme tun, warum sie sich auf eine bestimmte Weise verhalten und wo Fehler entstehen. Für KI gilt dasselbe, nur dass die Komplexität ein höheres Maß an Disziplin erfordert.

Statt nur das Endergebnis zu bewerten, können Organisationen Zwischenschritte im Workflow überwachen, abgerufene Quellen inspizieren, Entscheidungspfade nachverfolgen und auffälliges Verhalten markieren, bevor kleine Fehler zu großen werden. Das ist der strukturelle Unterschied zu unkontrolliertem KI-Betrieb: Observability ermöglicht strategische Eingriffe statt permanentes Feuerlöschen.

Was KI-Programmierassistenten uns lehren

Ein Blick auf die Softwareentwicklung macht diesen Mechanismus besonders anschaulich, gerade für DevOps-Teams und Plattformingenieure.

KI-Programmierassistenten wie GitHub Copilot oder Cursor funktionieren vergleichsweise gut, weil ihre Ausgaben direkt verifizierbar sind. Code lässt sich kompilieren, testen und automatisch validieren. Das System bekommt sofortiges Feedback, ob ein Schritt erfolgreich war oder nicht. Diese Feedbackschleife reduziert Unsicherheit, begrenzt Fehlerakkumulation und beschleunigt den Prozess erheblich.

Dasselbe Prinzip gilt für eine Reihe weiterer Enterprise-Workflows, sobald man die Ausgabe gegen einen definierten Standard prüfen kann. Bei Compliance-Reviews lässt sich eine KI-generierte Einschätzung gegen das zugrundeliegende Regelwerk validieren. Bei Finanzprozessen sind Buchungsvorschläge eines KI-Agenten direkt gegen Buchungsregeln, Kontenpläne und interne Limits prüfbar. Ähnliches gilt für medizinische Dokumentation. In allen Fällen entsteht eine Feedbackschleife, die der aus der Softwareentwicklung strukturell ähnelt.

Die Erfahrung aus dem produktiven Einsatz agentenbasierter Systeme zeigt, dass das bloße Hinzufügen weiterer Fähigkeiten die Leistung nicht automatisch verbessert. Der Wert entsteht durch die Qualität des Prozesses rund um das Modell. Ein System mit breiten Fähigkeiten, aber schwachen Kontrollen kann Fehler sogar verstärken. Observability liefert genau diese Prüfpunkte: Sie macht sichtbar, an welchem Punkt im Workflow eine Ausgabe vom erwarteten Ergebnis abweicht, und gibt Teams die Grundlage, um gezielt einzugreifen, statt blind nachzubessern.

Datensouveränität: Das Compliance-Problem im Maschinenraum

Für deutsche und europäische Unternehmen kommt eine weitere Dimension hinzu. Sie unterscheidet den europäischen Markt deutlich von vielen Diskussionen im US-amerikanischen Umfeld.

Observability-Plattformen der ersten Generation wurden für eine Welt gebaut, in der Telemetriedaten in externe Clouds fließen. Das war für klassische Infrastruktur lange die Standardpraxis. Für KI-Systeme, die mit Kundendaten, Finanztransaktionen oder medizinischen Informationen arbeiten, entstehen dadurch jedoch zusätzliche Anforderungen.

Für Organisationen in regulierten Branchen stellt sich die Frage: Welche Telemetriedaten verlassen die eigene Infrastruktur, wer erhält Zugriff darauf und wie lassen sich regulatorische Anforderungen an Datensouveränität, Sicherheit und Nachvollziehbarkeit erfüllen?

NIS2 ist dabei keine abstrakte Regulierungsdrohung, sondern eine konkrete Anforderung für viele deutsche Unternehmen in regulierten Sektoren – darunter Energie, Transport, Finanzwesen, Gesundheit und digitale Infrastruktur. Für diese Organisationen wird entscheidend, wie Telemetriedaten verarbeitet werden, welche externen Dienstleister eingebunden sind und wie sich Sicherheits- und Compliance-Anforderungen entlang der gesamten KI-Infrastruktur nachweisen lassen.

Agentic AI im IT-Betrieb

Kyndryl Bridge: Neue KI-Agenten sollen IT-Ausfälle verhindern, bevor sie entstehen

Mit zunehmender Verbreitung von KI in geschäftskritischen Prozessen wird die Kontrolle über die zugrunde liegende Observability-Infrastruktur zu einem strategischen Thema. Das Prinzip lässt sich in einem Satz zusammenfassen: See everything. Share nothing.

Menschliche Aufsicht bleibt dabei ein integraler Bestandteil. Statt jede Aktion zu prüfen, können sich Teams auf die Momente konzentrieren, in denen Risikoindikatoren erscheinen oder Workflows vom erwarteten Verhalten abweichen.

Was zählt, ist Kontrollierbarkeit

Modelle werden leistungsfähiger. Entscheidend ist jedoch nicht allein ihre Qualität, sondern ob ihre Entscheidungen nachvollziehbar, messbar und korrigierbar bleiben.

Unternehmen brauchen deshalb nicht in erster Linie perfekte KI, sondern kontrollierbare KI. Denn Fehler lassen sich in komplexen Systemen nie vollständig vermeiden – wohl aber früh erkennen und gezielt eingrenzen.

Genau darin liegt die Rolle von Observability. Sie macht KI nicht fehlerfrei, aber beherrschbar. Und genau das dürfte zur Voraussetzung für den produktiven Einsatz agentenbasierter Systeme werden.

Kommentar von Nicolas Klein und Björn Busch-Geertsema, Ergosign

GenAI Ops – KI sicher in die Produktion bringen

Prognose von Gartner

Explainable AI treibt Investitionen in LLM-Observability

(ID:50886263)