Kommentar von Anurag Sahay, Nagarro Agentic AI skalieren, ohne dass die Kosten aus dem Ruder laufen

Unternehmen sind es gewohnt, Softwarekosten langfristig zu planen: Bei klassischen Enterprise-Anwendungen kaufen sie Lizenzen meist für eine bestimmte Zahl von Nutzern, unabhängig davon, wie intensiv einzelne Mitarbeiter die Anwendung nutzen. Mit generativer KI verschiebt sich diese Logik, weil neben klassischen nutzerbasierten Lizenzmodellen viele generative KI-Dienste verbrauchsabhängige Preismodelle nutzen, häufig gekoppelt an Tokens, Anfragen, Rechenleistung oder Infrastrukturverbrauch.

Diese Entwicklung gewinnt zusätzlich an Bedeutung, wenn Unternehmen von einfachen generativen KI-Anwendungen zu Agentic AI übergehen. Ein Chatbot verdeutlicht den Unterschied: Er arbeitet in einem relativ klaren Rhythmus. Ein Mensch stellt eine Frage, das Modell antwortet und wartet auf die nächste Eingabe. Ein Agent kann dagegen selbstständig mehrere Arbeitsschritte ausführen. Er analysiert eine Aufgabe, plant sein Vorgehen, nutzt Werkzeuge, prüft Zwischenergebnisse und korrigiert gegebenenfalls den eigenen Ansatz. Damit entfällt die natürliche Taktung durch menschliche Interaktion.

Für Unternehmen bedeutet das, dass die Wirtschaftlichkeit von Agentic AI nicht allein von Modellpreisen oder dem Preis einzelner Tokens abhängt. Mindestens ebenso entscheidend ist, wie ein agentisches System entwickelt, betrieben und nach dem Go-live weiter optimiert wird. Die zentrale Kostenfrage lautet daher nicht einfach, wie viel ein einzelner Modellaufruf kostet, sondern wie viele Aufrufe, Tool-Aktionen, Kontext-Tokens und menschliche Eingriffe erforderlich sind, um eine Aufgabe erfolgreich abzuschließen.

Warum Agenten schwerer zu kalkulieren sind

Agenten unterscheiden sich von klassischer Software in einem wesentlichen Punkt: Ihr Verhalten ist probabilistisch. Derselbe Auftrag kann bei zwei Durchläufen zu unterschiedlichen Arbeitsschritten und damit auch zu einem unterschiedlichen Ressourcenverbrauch führen. Eine einfache Rechnung nach dem Muster „ein Prompt, eine Antwort, ein bestimmter Preis“ greift deshalb zu kurz.

Bei komplexen Aufgaben wird das besonders sichtbar: Ein Agent sammelt Informationen, probiert Tools aus, prüft Zwischenergebnisse und wiederholt einzelne Schritte. Wenn Menschen anschließend eingreifen, Ergebnisse kontrollieren, Fehler korrigieren und weitere Iterationen starten, wird aus einem vermeintlich einzelnen Vorgang schnell eine längere Kette von Interaktionen.

Das macht Kostenprognosen anspruchsvoller. Theoretische Berechnungen helfen nur begrenzt, wenn sich vorab nicht zuverlässig sagen lässt, wie viele Schritte ein Agent tatsächlich benötigt. In der Praxis ist es daher sinnvoller, typische Aufgaben wiederholt auszuführen und den tatsächlichen Verbrauch zu messen. Aus solchen Testläufen lassen sich Bandbreiten ableiten: Was benötigt ein einfacher Workflow? Wie stark schwankt ein komplexerer? Wo treten Ausreißer auf? Solche empirischen Werte schaffen eine wesentlich realistischere Grundlage für Budgets als die Annahme eines festen Verbrauchs pro Aufgabe.

Der unterschätzte Faktor ist der Kontext

Ein besonders großer Kostentreiber liegt häufig nicht im Modell selbst, sondern im Umgang mit Kontext. Ein Sprachmodell behält Interaktionen zwischen einzelnen Aufrufen nicht automatisch bei. Wenn frühere Informationen benötigt werden, muss die Anwendung sie erneut bereitstellen oder über einen separaten Speichermechanismus ablegen und wieder abrufen. Damit ein Modell den bisherigen Verlauf berücksichtigen kann, müssen relevante Informationen erneut in den Kontext aufgenommen werden. Bei längeren Sessions wächst dieser Kontext oft stark an.

Das zeigt sich beispielsweise beim Einsatz von Coding Agents. Bei einer längeren Session mit vielen aufeinanderfolgenden Interaktionen kann sich die Menge der Input-Tokens sehr stark erhöhen. In vielen Coding-Agent-Sessions wächst der Eingabekontext schneller als die neu generierte Antwort. Der Agent verarbeitet dann wiederholt große Teile der bisherigen Historie.

Hier entstehen vermeidbare Kosten. Wenn Kontext schlecht strukturiert ist, Informationen mehrfach übertragen werden oder ein Agent Zugriff auf zu viele nicht benötigte Tools erhält, wächst die zu verarbeitende Informationsmenge unnötig. Unternehmen sollten deshalb regelmäßig prüfen: Welche Informationen braucht der Agent wirklich? Welche davon lassen sich zwischenspeichern? Welche Tools müssen für die jeweilige Aufgabe verfügbar sein?

Auch die Modellwahl spielt eine Rolle. Für Planung, komplexes Reasoning oder anspruchsvolle Spezialfälle kann ein besonders leistungsfähiges Modell erforderlich sein. Modellfähigkeit ist jedoch nur ein Teil der Performance. Die Qualität von Retrieval, die Zuverlässigkeit von Tools, klare Instruktionen und Prüfmechanismen können ebenso wichtig sein. Für einzelne Ausführungsschritte reicht dagegen unter Umständen ein kleineres, spezialisiertes Modell. Wer jede Aufgabe standardmäßig an das größte verfügbare Modell schickt, verschenkt einen wichtigen Hebel für die Kosteneffizienz.

Der Go-live ist nicht das Ende der Kostenoptimierung

Viele Unternehmen investieren erhebliche Ressourcen in Entwicklung und Einführung eines KI-Agenten. Ist das System produktiv, gilt die technische Hauptarbeit schnell als abgeschlossen. Doch erst im laufenden Betrieb zeigt sich, wie Agenten tatsächlich eingesetzt werden: Welche Aufgaben lösen viele Iterationen aus? Wo wachsen Context Windows unnötig? Welche Tools erhöhen die Komplexität, ohne ausreichend Nutzen zu stiften? Wo fehlen klare Instruktionen? Und wo wird mehr Modellleistung eingesetzt als erforderlich?

Agentic AI sollte deshalb nicht als einmaliges Implementierungsprojekt verstanden werden, sondern als Aufgabe kontinuierlicher technischer Pflege. Regelmäßige Engineering Audits können problematische Muster frühzeitig sichtbar machen: besonders ressourcenintensive Workflows, mehrfach verarbeiteten Kontext, falsch eingesetztes Caching, unnötig große Modelle und überlange Schrittketten. Kostenkontrolle wird damit Teil des Engineering-Prozesses.

Gute Orientierung spart Rechenleistung

Wie stark die Gestaltung eines Workflows die Kosten beeinflussen kann, zeigt ein Beispiel aus der Arbeit mit Coding Agents. Ein Entwickler begann unmittelbar mit einer neuen Aufgabe in einem bestehenden Repository. Statt zunächst zu analysieren, welche Funktionen bereits vorhanden waren, arbeitete er direkt an der Umsetzung. Die Folge: Ein großer Teil bereits existierender Funktionalität wurde praktisch noch einmal entwickelt.

Die Lösung lag nicht in einem günstigeren Modell, sondern in einem veränderten Arbeitsablauf. Seitdem beginnt jede neue Session mit einer strukturierten Analyse des Repositorys: Der Agent erhält einen Überblick darüber, was vorhanden ist, welche Komponenten genutzt werden können und wo Wiederverwendung sinnvoll ist. Erst danach startet die eigentliche Aufgabe.

Das spart Zeit und reduziert unnötige Verarbeitung. Vor allem zeigt das Beispiel, wie eng Engineering-Qualität und KI-Kosten miteinander verbunden sind. Häufig besteht der wirksamste Hebel nicht darin, Rechenleistung günstiger einzukaufen, sondern unnötige Arbeit gar nicht erst entstehen zu lassen.

Ähnliches gilt für klare Instruktionen. Muss ein Agent selbst herausfinden, welches Werkzeug er für die Bearbeitung einer Datei benötigt, entstehen schnell unnötige Schritte. Wird das passende Tool bereits in der Aufgabenbeschreibung vorgegeben, verkürzt sich der Prozess. Gutes Agent Engineering reduziert Unsicherheit dort, wo sie keinen zusätzlichen Nutzen schafft.

Drei Kontrollen gehören in die Architektur

Kostenmanagement sollte nicht erst beginnen, wenn die monatliche Rechnung vorliegt. Einige Mechanismen lassen sich direkt in die technische Architektur integrieren:

Erstens sollten Modellaufrufe möglichst über ein zentrales Gateway laufen. Dadurch erhalten Unternehmen Transparenz darüber, welche Modelle für welche Aufgaben genutzt werden, wie hoch der Verbrauch ist und welche Ergebnisse erzielt werden. Gleichzeitig schafft ein solches Gateway die Voraussetzung für Model Routing: Nicht jeder Request muss an dasselbe Modell gehen. Je nach Aufgabe kann ein geeigneteres und kosteneffizienteres Modell ausgewählt werden.

Zweitens braucht Agentic AI eine konsequente Strategie für Kontext und Caching. Informationen, die bereits verarbeitet wurden und erneut benötigt werden, sollten nicht unnötig immer wieder vollständig berechnet werden. In geeigneten Workloads kann effektives Caching den Tokenverbrauch und die Latenz spürbar reduzieren. Die tatsächliche Einsparung hängt von der Art des Caches, der Architektur und der Wiederverwendungsrate ab. Es gibt daher keine allgemeingültige Benchmark, da die erreichbaren Werte stark von Architektur und Nutzungsmuster abhängen.

Drittens sollten Agenten klare Grenzen kennen. Stopping Rules können beispielsweise festlegen, wie viele Iterationen ein Agent maximal durchführen oder welches Ressourcenbudget er für eine Aufgabe verwenden darf. Wird eine solche Grenze Bestandteil seiner Instruktionen, kann der Agent sie bereits bei der Planung berücksichtigen. Das ist entscheidend, weil Kostenkontrolle damit nicht erst nachträglich durch Reporting erfolgt. Sie wird Teil der Logik, nach der der Agent arbeitet.

Wirtschaftlichkeit ist eine Betriebsdisziplin

Die Diskussion über den richtigen Preis eines Tokens greift bei Agentic AI deshalb zu kurz. Tokens bleiben eine wichtige Verbrauchsgröße, doch sie erklären allein nicht, ob ein System wirtschaftlich arbeitet. Mindestens ebenso relevant ist, warum ein Agent Ressourcen verbraucht. Benötigt er viele Schritte, weil die Aufgabe tatsächlich komplex ist? Oder weil die Instruktionen unklar sind? Wird ein großer Kontext gebraucht, oder wächst er lediglich über viele Interaktionen hinweg? Ist für einen Verarbeitungsschritt ein Frontier-Modell erforderlich, oder könnte ein kleineres Modell denselben Zweck erfüllen?

Kommentar von Mareike Busche, Figma

Tokenmaxxing – warum Nutzungszahlen kein Produktivitätsbeweis sind

Eine einzelne, allgemein akzeptierte Kennzahl, die all diese Faktoren erfasst, gibt es bislang nicht. Unternehmen können dennoch bestehende Messgrößen kombinieren, etwa Cost per Task, Erfolgsquote, Latenz, Eskalationsrate und Anzahl an Tokens, die für ein erfolgreiches Ergebnis benötigt werden. Sie sollten daher nicht darauf warten, dass sich eine neue universelle Metrik durchsetzt. Sie können bereits heute die eigenen Workflows messen, typische Nutzungsmuster benchmarken und technische Ineffizienzen systematisch beseitigen.

Die Wirtschaftlichkeit von Agentic AI wird nicht nur durch Modellpreise bestimmt, sondern durch die Kosten, die entstehen, um eine Aufgabe erfolgreich abzuschließen. Diese Kosten hängen von der Zahl der Modell- und Tool-Aufrufe, der Menge des verarbeiteten Kontexts, der Qualität des Workflows, dem Bedarf an manuellen Eingriffen und den zur Laufzeit angewandten Kontrollen ab.

Agentic AI wirtschaftlich zu betreiben bedeutet damit vor allem, sie kontinuierlich zu beobachten und zu verbessern. Der entscheidende Hebel liegt nicht allein im Einkauf von Rechenleistung, sondern in Architektur, Context Engineering, Modellwahl, Guardrails und laufender Optimierung. Wer diese Disziplin von Beginn an mitdenkt, schafft die Voraussetzung dafür, dass Agenten nicht nur technisch funktionieren, sondern auch im größeren Maßstab sinnvoll betrieben werden können.

(ID:50951256)