Workflow-Orchestrierung für Daten, Infrastruktur und KI Kestra 2.0: Neue Engine für Orchestrierung

Anbieter zum Thema

QUNIS GmbH

BigData-Insider

Fivetran Germany GmbH

Die Orchestrierungsplattform Kestra hat ihre Engine neu gebaut. Worker benötigen keinen direkten Datenbankzugriff mehr und lassen sich damit auch in abgeschotteten Netzen betreiben. KI-Agenten greifen über dieselbe Kontrollebene auf freigegebene Workflows zu.

„Niemand hat bewusst entschieden, fünf Orchestrierungstools parallel zu betreiben. Jedes Team hat sich über die Jahre sein eigenes Werkzeug zugelegt, und heute sind ausgerechnet die geschäftskritischsten Abläufe am schlechtesten zu überblicken“, sagt Emmanuel Darras, CEO und Mitgründer von Kestra. An dieser gewachsenen Trennung möchte Kestra 2.0 ansetzen. Die Plattform soll vorhandene Scheduler, Automatisierungswerkzeuge und spezialisierte Orchestratoren nicht vollständig ersetzen. Stattdessen verbinde sie deren Abläufe über eine gemeinsame Control Plane. Kestra führt die Version nun auch im deutschen Markt ein und fasst den Ansatz unter dem Begriff „Unified Orchestration“ zusammen.

Die Plattform decke dabei vier Bereiche ab:

• Daten: Datenaufnahme, ETL- und ELT-Prozesse, dbt-Transformationen sowie Machine-Learning- und KI-Pipelines

• Infrastruktur: Enterprise Job Scheduling, virtuelle Maschinen, Container, Cloud-Infrastruktur, Terraform, Ansible und CI/CD

• Anwendungen: Microservices, API-Workflows, ereignisbasierte Abläufe und SaaS-Integrationen

• Geschäftsprozesse: Freigaben, Onboarding, Ticketbearbeitung sowie die Einbindung von SAP- und Mainframe-Systemen

Neue Engine entkoppelt die Worker

Technische Grundlage von Kestra 2.0 sei eine neu entwickelte Ausführungs-Engine. Die Architektur trenne die Control Plane stärker von der Data Plane. Die Control Plane plane und koordiniere Workflows. Worker in der Data Plane sollen die einzelnen Aufgaben ausführen.

Ein Controller vermittele zwischen beiden Ebenen. Anders als bei der bisherigen Architektur sollen die Worker laut Kestra keinen direkten Zugriff auf die zentrale Datenbank benötigen. Sie müssten daher auch keine Zugangsdaten für diese Datenbank speichern.

Damit sollen sich Worker in anderen Cloud-Regionen, eigenen Rechenzentren oder abgeschotteten Netzen betreiben lassen. Die Verbindung zur Control Plane erfolge laut Anbieter über einen ausgehenden gRPC-Kanal. Unternehmen könnten die Kapazitäten für Steuerung und Ausführung getrennt skalieren.

Das Modell richte sich vor allem an verteilte IT-Umgebungen. Daten und ausführbare Komponenten können innerhalb einer vorgegebenen Umgebung verbleiben, während eine zentrale Instanz die Workflows koordiniert. Kestra unterstützt den Eigenbetrieb in der Cloud, im Rechenzentrum sowie in Air-Gap-Umgebungen.

Workflows als Werkzeuge für KI-Agenten

Die zentrale Steuerung umfasst auch Abläufe, die externe KI-Agenten anstoßen. Ein vorhandener Workflow kann über das Model Context Protocol als Werkzeug für einen Agenten bereitgestellt werden. Der Agent führt dabei nicht unmittelbar beliebige Befehle auf den angebundenen Systemen aus. Er ruft einen zuvor definierten und freigegebenen Ablauf auf.

Die Plattform behandelt einen solchen Aufruf wie eine reguläre Workflow-Ausführung. Dabei greifen die festgelegten Berechtigungen, Protokolle und Audit-Funktionen. Für kritische oder nicht umkehrbare Schritte können Unternehmen eine manuelle Freigabe vorsehen.

Kestra adressiert damit die Nachvollziehbarkeit agentischer Abläufe. KI-Agenten können auf Datenbanken, Anwendungen und Infrastrukturkomponenten zugreifen. Ohne gemeinsame Protokollierung lässt sich nur eingeschränkt nachvollziehen, welches System eine Aktion ausgelöst hat und welche Folgen daraus entstanden sind.

Gemeinsames Modell für Betrieb und Governance

Kestra richtet die Plattform an Daten-, Infrastruktur-, Anwendungs- und Plattformteams. Sie können bestehende Automatisierungen über Systemgrenzen hinweg verbinden und unter eine gemeinsame Zugriffssteuerung und Protokollierung stellen, heißt es.

„Die entscheidende Frage lautet heute nicht mehr, ob Unternehmen automatisieren“, sagt Kai Waehner, Global Field CTO bei Kestra. „Die Frage ist, wie sie tausende automatisierte und zunehmend KI-gestützte Abläufe zuverlässig miteinander koordinieren. Kestra 2.0 bildet dafür eine gemeinsame, offene und kontrollierbare Ausführungsebene.“

Kestra 2.0 ist allgemein verfügbar. Die Community-Ausgabe steht auf Kestra.iound im GitHub-Repository1 bereit. Daneben vertreibt der Anbieter ebenso eine Enterprise-Version.

(ID:50962173)