Mobile-Menu

Prognose von Gartner Explainable AI treibt Investitionen in LLM-Observability

Von Berk Kutsal 2 min Lesedauer

Anbieter zum Thema

Gartner Inc
Fivetran Germany GmbH

Große Sprachmodelle liefern längst überzeugende Ergebnisse. Doch in produktiven Umgebungen fehlt es an Nachvollziehbarkeit, Kontrolle und belastbaren Metriken. Neue Zahlen von Gartner deuten auf eine Verschiebung hin: Unternehmen investieren zunehmend nicht in bessere Modelle, sondern in deren Überwachung.

GenAI im Betrieb: Gartner prognostiziert steigende Investitionen in LLM-Observability. Entscheidend sei nicht die Antwort, sondern ihre Nachvollziehbarkeit.(Bild: © metamorworks - stock.adobe.com)
GenAI im Betrieb: Gartner prognostiziert steigende Investitionen in LLM-Observability. Entscheidend sei nicht die Antwort, sondern ihre Nachvollziehbarkeit.
(Bild: © metamorworks - stock.adobe.com)

Das Marktforschungsunternehmen Gartner erwartet, dass bis 2028 rund 50 Prozent aller Investitionen in generative Künstliche Intelligenz (KI) in den Bereich LLM-Observability fließen. Aktuell liege dieser Anteil bei etwa 15 Prozent. Treiber dieser Entwicklung sei vor allem der steigende Bedarf an Explainable AI (XAI), also Verfahren, die Entscheidungen von KI-Systemen nachvollziehbar machen sollen.

Mit dem wachsenden Einsatz großer Sprachmodelle in produktiven Umgebungen verschieben sich die Anforderungen an Monitoring und Analyse. Während klassische Observability-Ansätze primär Infrastrukturmetriken wie Latenz oder Auslastung erfassen, rücken bei GenAI-Systemen andere Faktoren in den Vordergrund. Dazu zählen etwa die inhaltliche Qualität von Antworten, das Auftreten von Halluzinationen, Verzerrungen in den Ergebnissen oder die Konsistenz von Modellreaktionen.

Ohne Transparenz bleibt GenAI im Testbetrieb

Gartner sieht darin eine Voraussetzung für den produktiven Einsatz von GenAI jenseits risikoarmer Anwendungsfälle. Ohne geeignete Mechanismen zur Überwachung und Erklärung von Modellverhalten bleibe der Einsatz vielfach auf experimentelle oder unterstützende Szenarien beschränkt. Erst durch zusätzliche Transparenz und Kontrollmöglichkeiten könnten Unternehmen GenAI in kritischen Geschäftsprozessen einsetzen.

„Je stärker Unternehmen GenAI skalieren, desto schneller wächst der Bedarf an Vertrauen – oft schneller als die Technologie selbst“, sagt Pankaj Prasad, Sr. Principal Analyst bei Gartner. „XAI liefert Einblicke, warum ein Modell auf eine bestimmte Weise reagiert hat, während LLM-Observability nachvollziehbar macht, wie diese Reaktion zustande gekommen ist und ob man sich darauf verlassen kann.“

„Ohne eine solide Grundlage aus XAI und Observability werden sich GenAI-Initiativen auf risikoarme, interne oder unkritische Anwendungsfälle beschränken, bei denen sich Ergebnisse leicht überprüfen lassen oder kaum ins Gewicht fallen. Das würde den potenziellen Return on Investment erheblich begrenzen.“

Wachsender Markt für Observability und Kontrolle

Parallel dazu prognostiziert der Marktforscher ein starkes Wachstum des Marktes für entsprechende Technologien. Das Volumen für GenAI-bezogene Software und Services soll von über 25 Milliarden US-Dollar im Jahr 2026 auf rund 75 Milliarden US-Dollar bis 2029 steigen.

Die Entwicklung deutet darauf hin, dass sich der Schwerpunkt in GenAI-Projekten verschiebt: Nicht mehr allein die Leistungsfähigkeit der Modelle steht im Fokus, sondern deren Überprüfbarkeit und Steuerbarkeit im Betrieb.

(ID:50807777)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte