Agentic AI Agentische Plattformen brauchen eine gute Orchestrierung

Anbieter zum Thema

Boomi Deutschland GmbH

Amazon Web Services Germany GmbH

Microsoft Deutschland GmbH

SAP Deutschland SE & Co. KG

IBM Deutschland GmbH

mehr weniger

INFOMOTION GmbH

QUNIS GmbH

weniger

Agentische Frameworks bzw. Plattformen werden von mehreren Anbietern intensiv ausgebaut. Zwar stehen Entwicklung, Integration und Sicherheit stets im Vordergrund, doch zu den Bedingungen für den erfolgreichen Einsatz von Agenten gehört die Orchestrierung von Agenten, vor allem wenn diese in Workflows integriert sind. In diesem Punkt unterscheiden sich Frameworks erheblich, wie ein Vergleich zeigt.

„Bis 2028 werden mindestens 15 Prozent der täglichen Arbeitsentscheidungen autonom durch agentische KI getroffen, gegenüber null Prozent im Jahr 2024“, berichtet die Gartner Group in ihrem Bericht „Intelligent Agents in AI Really Can Work Alone. Here's How“. Das IBM Institute for Business Value prognostiziert: „Die direkt auf KI zurückzuführenden Gewinne verdoppelten sich auf fast fünf Prozent von 2022 bis 2023 – und Führungskräfte erwarten, dass diese Zahl bis 2025 auf zehn Prozent ansteigt.“

Deutsche Unternehmen setzen nach Informationen des Bitkom-Verbands immer mehr KI-Modelle ein, auch die ersten Agenten. Doch diese frei agierenden KI-Agenten müssen auch gesteuert, überwacht und sinnvoll in einem Arbeitsablauf eingesetzt werden. Im Finanzsektor etwa sind viele Abläufe streng geregelt. Deshalb darf kein Agent in verkehrter Reihenfolge aktiv werden, denn das könnte beispielsweise die Bilanz ungültig machen. Orchestrierung von Agenten in Workflows ist also eine Vorbedingung für den erfolgreichen Einsatz. Ein Framework sollte zumindest diesen Grundbaustein anbieten. Die folgende Auswahl ist nur eine Stichprobe und nicht repräsentativ.

Bildergalerie

Bildergalerie mit 9 Bildern

IBM watsonx Orchestrate

IBM nennt sein agentisches Framework watsonx Orchestrate und bietet hier eine Sammlung seiner bislang bestehenden Agenten an. Mit Orchestrate können Anwender Agenten entwickeln, bereitstellen, verwalten und steuern. Der Agent Builder lässt die Wahl: „No-Code oder Pro-Code“.

Entwickler können den No-Code-KI-Agenten-Builder verwenden, um KI-Agenten mit geführten Schritten und Vorlagen zu erstellen, mit Code benutzerdefinierte KI-Agenten im Agent Development Kit (ADK) zu entwickeln oder in Langflow visuell zu prototypisieren. „Was auch immer Kunden erstellen, ist gesteuert, beobachtbar und mit ihren Workflows verbunden“, schreibt Big Blue auf der Webseite.

Und weiter: „Langflow-Apps werden als serverlose Tools innerhalb des ADK ausgeführt, wobei die Anmeldedaten zentral in watsonx Orchestrate verwaltet werden. Das vereinfacht das Debugging, die Bereitstellung und die Richtlinienkontrolle. Über AI Gateway können Entwickler für jeden Anwendungsfall das beste LLM auswählen, sei es IBM Granite, OpenAI, Anthropic, Google Gemini, Mistral oder Ollama.“ Von Haus aus stehen „über 100 domänenspezifische KI-Agenten“ und 400 Tools zur Auswahl bereit.

Die in watsonx Orchestrate verfügbaren IBM watsonx Agents sind KI-Agenten, die für Anwendungsfälle in den Bereichen HR, Vertrieb, Einkauf, Finanzen und Kundenservice konzipiert sind. Daneben bietet IBM auch ein Programmierwerkzeug an: „Die generative KI-Tool-Suite des watsonx Code Assistant ist auf generische Codierungssprachen und bestimmte Programme wie Python, Java, C, C++, Go, JavaScript und TypeScript ausgerichtet. Darüber hinaus kann sie zur Erstellung von Red Hat Ansible Playbooks und zur Modernisierung von IBM-Z-Mainframe-Anwendungen verwendet werden.“ Einen Überblick über Orchestrate bietet IBM hier und nennt dabei einige Vorteile, die Kunden mit watsonx-Agenten und dem Code-Assistenten erzielen können.

Microsoft Azure AI Foundry

Microsofts KI-Plattform Azure AI Foundry verbindet KI-Modelle, Werkzeuge, Frameworks und Governance in einem vereinten System für die Erstellung selbständig entscheidender KI-Agenten. Im Mittelpunkt steht der Azure AI Foundry Agent Service, der den Betrieb der Agenten über Entwicklung, Inbetriebnahme und Einsatz koordiniert.

Dieser Agent Service verbindet KI-Modelle, Werkzeuge und Frameworks zu einer einzigen Laufzeiteinheit. Diese Runtime verwaltet Threads, orchestriert Tool-Aufrufe, setzt den Schutz von Inhalten durch und ist mit Systemen für die Identitätsverwaltung, Networking und Observability integriert. Das soll sicherstellen, dass Agenten nicht nur betriebsbereit und skalierbar, sondern auch sicher sind.

An Modellen unterstützt AI Foundry GPT-4o, GPT-4, GPT-3.5 (Azure OpenAI) und andere wie etwa Llama. Die Verfügbarkeit kann sich je nach Region stark unterscheiden. Um sie trainieren zu können, werden alle Modelle werden mit Inhalten versorgt, etwa aus Bing, SharePoint oder Azure AI Search. Um Aktionen auszuführen, stehen APIs zur Verfügung, so etwa Logic Apps, Azure Functions oder OpenAPI.

Die nächsten Schritte bestehen in der Orchestrierung gekoppelter Agenten und der Beobachtung fertiggestellter Agenten. Der Agent Service erlaubt die Zuschaltung von RAG-unterstützten Datenquellen, aber Fachbereich-spezifische Workflows werden auf der Webseite nicht angeboten.

Wie alle hier erwähnten Hersteller legt Microsoft großen Wert auf Schutzfunktionen. Die Identität wird mithilfe von Microsoft EntraID, rollenbasierter Zugriffskontrolle, Inhaltsfiltern, Verschlüsselung und Netzwerkisolierung gewährleistet. Um auch Backup und Disaster Recovery gewährleisten zu können, setzt der Agent Service beim Nutzer ein Standard-Konto für eine CosmosDB-Instanz auf Azure voraus. Nur so lasse sich der aktuelle Zustand eines Agenten im Fall eines Systemausfalls wiederherstellen.

Amazon Bedrock AgentCore

Amazon Bedrock AgentCore ist eine agentenbasierte Plattform für die Erstellung, die Bereitstellung und den sicheren Betrieb hochleistungsfähiger Agenten in großem Maßstab. Amazon Bedrock AgentCore besteht aus vollständig verwalteten Services, die zusammen oder unabhängig voneinander genutzt werden können und mit jedem Framework (einschließlich CrewAI, LangGraph, LlamaIndex, Google ADK, OpenAI Agents SDK und Strands Agents) sowie mit jedem KI-Sprachmodell kompatibel sind.

Damit Entwickler KI-Agenten schnell und sicher erstellen können, bietet der Amazon Bedrock AgentCore Code Interpreter einen vollständig verwalteten Service. Mit vorinstallierten Laufzeitumgebungen für verschiedene Programmiersprachen und einer Vielzahl an Python-Bibliotheken wie Pandas lassen sich schnell leistungsfähige Datenverarbeitungs- und Analysefunktionen implementieren. Der Code Interpreter ermöglicht KI-Agenten das sichere Schreiben und Ausführen von Code in Sandbox-Umgebungen, was besonders bei der Ausführung von beliebigem Code in Agentic-AI-Anwendungen kritisch ist, um Datenkompromittierungen und Sicherheitsrisiken zu vermeiden.

Mit Amazon Bedrock AgentCore Runtime können Entwickler bestehende KI-Sprachmodell-Apps und lokale Agenten mit wenigen Codezeilen in eine sichere, serverlose Cloud-Ausführungsumgebung überführen. Die Plattform ist Framework-agnostisch konzipiert und ermöglicht eine nahtlose Integration mit LangGraph, Strands und CrewAI. Für die effiziente Orchestrierung von Multi-Agenten-Workflows unterstützt AgentCore Runtime sowohl das Model Context Protocol (MCP) als auch Agent-to-Agent-Kommunikation (A2A).

AgentCore Runtime bietet eine flexible Unterstützung für verschiedene KI-Sprachmodelle, darunter Amazon Bedrock, Anthropic Claude, Google Gemini und OpenAI. Für komplexe Multi-Agenten-Workflows stellt der Service eine serverlose Ausführungsumgebung bereit, die Laufzeiten von bis zu acht Stunden ermöglicht. Mit der Unterstützung von Payloads bis zu 100 Megabyte können Entwickler umfangreiche Mediendaten und große Datensätze verarbeiten, was besonders bei der Arbeit mit multimodalen Inhalten wie Text, Bild, Audio und Video von Vorteil ist.

Hilfreich für den Schutz solcher großen Datenmengen in den Threads der Agenten ist deren vollständige Isolierung mithilfe einer MicroVM, die über jeweils eigene CPU-Leistung und Speicherkapazität sowie Filesystem-Ressourcen verfügt. Verschiedene Funktionen kümmern sich um Sicherheit, Authentifizierung, Observability und Datenschutz.

AgentCore Runtime rechnet mit dem Pay-per-use-Modell ab. Die Preisübersicht erlaubt eine erste Kalkulation der Kosten für den Einsatz von AgentCore-Komponenten. AgentCore-Agenten sind bereits in der Telekommunikation, in der Fertigung, in der Unterhaltungsbranche und im Gesundheitswesen im Einsatz. Das berichtet Swami Sivasubramanian, VP for Agentic AI bei AWS in seinem Blog.

Google Vertex AgentBuilder

Google setzt von Anfang an auf Orchestrierung. Das kommt auf der Webseite für den Vertex AgentBuilder deutlich zum Ausdruck: „Mit dem Agent Development Kit (ADK) lassen sich komplexe Multi-Agent-Systeme einfach erstellen. Entwickler können produktionsbereite Agents mit weniger als 100 Zeilen Python-Code erstellen. Unterstützung für weitere Sprachen ist in Kürze verfügbar. Mit ADK können Nutzer durch deterministische Schutzmaßnahmen und Orchestrierungseinstellungen genau steuern, wie Agenten denken, argumentieren und zusammenarbeiten. Mit der einzigartigen bidirektionalen Audio- und Videostreaming-Funktion von ADK können sie mit Ihren Kundenservicemitarbeitern in natürlich klingenden Unterhaltungen interagieren.“ Auch Salesforce setzt auf VoiceAI, siehe unten.

Google weiter: „Mit Agent Garden, einer Sammlung von gebrauchsfertigen Beispielen und Tools, die direkt über die ADK zugänglich sind, können Sie Ihre Entwicklung beschleunigen. Mit dem ADK können Sie Ihr bevorzugtes Modell oder Bereitstellungsziel auswählen. Sie verwenden keines unserer Tools? Kein Problem. Sie können auch Agenten mit gängigen Open-Source-Frameworks wie LangChain, LangGraph, AG2 oder Crew.ai oder anderen Alternativen erstellen, die Ihren Anforderungen entsprechen.“

Google ist der „Erfinder“ des A2A-Protokolls. „Mit dem offenen Agent2Agent-Protokoll (A2A) können Firmen ihre Kundenservicemitarbeitenden überall verbinden. Dieser universelle Kommunikationsstandard ermöglicht es Agenten in verschiedenen Systemen, miteinander zu kommunizieren, unabhängig vom Framework (ADK, LangGraph, Crew.ai oder andere) oder dem Anbieter, auf dem sie basieren. Mit A2A können Agenten ihre Fähigkeiten veröffentlichen und aushandeln, wie sie mit Nutzern interagieren (über Text, Formulare oder bidirektionales Audio/Video).“ Über das MCP-Protokoll, RAG und Vertex Search lassen sich unterschiedliche Inhalte integrieren.

Die Runtime, die ein Agent benötigt, wird durch die Agent Engine gebildet. „Die Agent Engine übernimmt die Infrastrukturverwaltung, Skalierung, Sicherheit und Überwachung. So können Firmen ihre Sitzungen verwalten, und ihre Kundenservicemitarbeiter können sich an ihre früheren Unterhaltungen und Präferenzen erinnern. Mit den umfassenden Bewertungstools und dem Example Store von Vertex AI können Firmen die Leistung der Agenten verbessern und auf der Grundlage der tatsächlichen Nutzung optimieren.“

SAP AI Foundation

Mit der SAP AI Foundation stellte SAP im Sommer 2025 quasi ein Betriebssystem für KI im Unternehmen vor. Kernbestandteil ist Joule Studio, integriert in die SAP-Build-Lösung. „Damit können Entwickler auch ohne tiefe KI-Kenntnisse eigene KI-Anwendungen erstellen“, sagt Jonathan von Rüden, Head of AI Innovation bei SAP. Der „Skill Builder“ vereinfache dabei die Entwicklung, Bereitstellung, Überwachung und Verwaltung individueller KI-Fähigkeiten. Der „Agent Builder“ in Joule Studio ermögliche zudem die Erstellung maßgeschneiderter KI-Agenten mithilfe von Low-Code- und No-Code-Tools.

Der SAP Knowledge Graph spielt laut von Rüden eine wichtige Rolle, da er LLMs eine Art Landkarte gibt, mit der sie strukturierte Daten navigieren können – etwas, in dem sie eher schlecht seien. Außerdem versorge er Joule mit Informationen und ermögliche so präzisere Antworten. „Nutzer können Daten direkt in Joule analysieren, ohne auf komplexe, bereichsspezifische Abläufe zurückgreifen zu müssen“, so SAPs KI-Experte.

Für die zentrale Verwaltung von KI-Agenten diene der KI-Agenten-Hub, der auf SAP-LeanIX- und Signavio-Technologie basiert. Angesichts der zu erwartenden Vielzahl an Agenten, die in Unternehmen zum Einsatz kommen werden, werde es entscheidend sein, den Überblick zu behalten: Welche Agenten sind im Einsatz, welche wurden genehmigt, wo werden sie genutzt und wie greifen sie ineinander? Genau hier setze der KI-Agenten-Hub an: „Er verknüpft Geschäftsfunktionen, um neue Anwendungsmöglichkeiten zu identifizieren und die Organisation zu optimieren“, so von Rüden. Für Orchestrierung und Verwaltung von Agents unterstützt SAP Joule das A2A-Protokoll.

Salesforce Agentforce

Salesforce hat Agentforce 360 vorgestellt, eine umfassende Plattform, in der die Anwendung „Slack“ quasi zum Betriebssystem wird. Sie bildet das Fundament für die Einführung von KI-Agenten in Unternehmen aller Größen und bringt neben neuen Dashboards für die kontinuierliche Optimierung eine Reihe weiterer Neuerungen mit. Dazu gehören der aktualisierte „Agentforce Builder“ zur Erstellung, Erprobung und Implementierung von KI-Agenten mittels natürlicher Sprache sowie der Sprach-Layer „Agentforce Voice“ zur Umwandlung von Sprachdialogsystemen in eine natürlichsprachliche Echtzeit-Konversationslösung.

Das hybride Schlussfolgern und die Skriptsprache „Agent Script“ verbinden deterministische Workflows mit flexiblem LLM-Reasoning für mehr Präzision und Anpassungsfähigkeit auf Basis der Atlas Reasoning Engine. Dazu kommt „Agentforce Vibes“ für das Vibe-Coding, das Programmieren auf KI-Basis. Um die Governance von Agenten zu realisieren, stellt Salesforce „Mulesoft Fabric“ bereit.

Boomi AgentStudio

Boomi hat sich Automation und Integration auf die Fahnen geschrieben, also genau das, was für den Workflow in KI-Agenten die Essenz des Lebenszyklus' bildet. Im März 2025 stellte das Unternehmen sein AgentStudio vor, im Mai kamen diverse Integrationen sowie Support für das MCP-Protokoll hinzu. Das AgentStudio besteht aus „Designer“, „Control Tower“ und „Garden“, einem persönlichen Bereich für den Nutzer.

Boomi ist seit der Integration mit Amazon Q Business ein zugelassener Datenverarbeiter für alle AWS-Kunden – ein Meilenstein, der denjenigen Nutzern, die KI-Agenten auf AWS erstellen, unternehmenstaugliche Funktionen bieten soll. Die erweiterte Governance von Agentstudio unterstütze die zentralisierte Agentenregistrierung für Amazon Bedrock und biete eine anbieterübergreifende Beobachtbarkeit.

Eine seit Herbst 2025 neue Agent-Step-Funktion ermöglicht es Integrationsentwicklern außerdem, registrierte Agenten nahtlos direkt in den „Process Canvas“ einzubetten, also Workflows. Vier neue Agenten kümmern sich um Aspekte der Integration wie etwa die Dokumentation von APIs. „Bis Oktober haben Boomi und seine Partner über 300 agentenbasierte Workflow-Vorlagen auf dem Boomi Marketplace bereitgestellt, wobei regelmäßig neue Lösungen hinzukommen“, freut sich Steve Lucas, Chairman und CEO bei Boomi. Die Partner und Kunden hätten bereits über 50.000 Boomi-Agenten in Betrieb genommen.

(ID:50626726)