gesponsertKommentar von Loretta Schwaebe, Head of Sales EMEA, Conduktor Kafka-Teams im Dauerbetrieb: Warum Expertenwissen in Routinearbeit versickert

5 min Lesedauer

Ein typischer Arbeitstag im Kafka-Plattform-Team. Eigentlich steht ein wichtiges Upgrade auf dem Programm. Doch der Alltag sieht anders aus. Ein Konnektor fällt aus, Entwicklerteams warten auf Freigaben für Topic-Zugriffe, und für ein weiteres Topic lässt sich kurzfristig keine verantwortliche Person ermitteln. Jedes Problem für sich erscheint überschaubar, in der Summe jedoch binden diese Routineaufgaben erhebliche Kapazitäten und verzögern strategische Projekte.

Die in die Conduktor Console integrierten Conduktor Agents überwachen Kafka-Umgebungen kontinuierlich auf Sicherheit, Zuverlässigkeit, Governance und Kosten.(Bild:  Conduktor)
Die in die Conduktor Console integrierten Conduktor Agents überwachen Kafka-Umgebungen kontinuierlich auf Sicherheit, Zuverlässigkeit, Governance und Kosten.
(Bild: Conduktor)

In vielen IT-Organisationen ist das gelebte Realität. Apache Kafka bildet das Rückgrat moderner Echtzeit-Datenarchitekturen. Doch mit jeder neuen Anwendung, jedem angebundenen Team und jedem KI-Agenten steigt der administrative Aufwand exponentiell. Die Plattform-Teams wachsen selten im gleichen Maße mit. Das Resultat: Eine Handvoll Spezialisten betreut Hunderte von Anwendern. Der Engpass ist dabei längst nicht mehr die technische Infrastruktur, sondern die Arbeitszeit der Fachkräfte.

Drei Arten von Aufgaben im Plattformbetrieb

Die Aufgaben im Plattformbetrieb lassen sich im Wesentlichen in drei Kategorien unterteilen:

  • Eingehende Störungsmeldungen und Anfragen: Tickets, Systemwarnungen und Nachrichten zu unterbrochenen Consumern oder fehlerhaften Konnektoren.
  • Manuell zu identifizierende Abweichungen: Überflüssige Rechte von Service-Accounts, nicht zugewiesene Topics oder unklassifizierte personenbezogene Daten.
  • Unterstützung für Entwicklerteams: Freigaben für Zugriffe, neue Topics oder Schemaänderungen sowie Hilfestellungen bei Konfigurationsproblemen.
  • Eingehende Störungsmeldungen: Akute Support-Anfragen, Ticket-Meldungen, unterbrochene Consumer-Verbindungen oder fehlerhafte Konnektoren.
  • Manuelle Identifikation von Abweichungen: Verwaiste Topics, übermäßig vergebene Rechte bei Service-Accounts oder unklassifizierte personenbezogene Daten.
  • Unterstützung der Entwicklerteams: Freigaben für Zugriffe, Erstellung neuer Topics, Schema-Änderungen sowie Hilfe bei Konfigurationsfragen.

Obwohl diese Anforderungsprofile sehr unterschiedlich sind, werden sie in der Praxis meist von denselben Fachexperten bearbeitet.

Abweichungen im laufenden Betrieb fallen meist nicht auf

Besonders die zweite Kategorie birgt Risiken, da Abweichungen im laufenden Betrieb oft unbemerkt bleiben. Während ein Ausfall eines Brokers oder hoher Consumer-Lag sofort automatische Warnmeldungen auslöst, gilt das nicht für einen Service-Account mit ungenutzten Administratorrechten. Auch fehlende Eigentümerstrukturen bei Topics, unverschlüsselte Personendaten oder ablaufende Zertifikate führen nicht unmittelbar zu Systemfehlern. Kafka läuft vordergründig stabil weiter – während im Hintergrund Sicherheits- und Compliance-Risiken anwachsen.

Die notwendigen Informationen zur Behebung sind im System vorhanden, müssen jedoch manuell gesucht, zusammengetragen und bewertet werden. Das betrifft unterschiedliche Stakeholder: Die IT-Sicherheit benötigt Transparenz über Zugriffe, Governance-Teams achten auf sensible Daten, FinOps bewertet Kostenstrukturen, und das Plattform-Team selbst muss den Systemzustand sowie die Verantwortlichkeiten im Blick behalten.

Stichtagsbezogene Checks verlieren rasch an Aussagekraft. Ein Audit zu Beginn des Quartals dokumentiert lediglich den zu diesem Zeitpunkt bestehenden Zustand. Ändern sich kurz darauf Konfigurationen, bleiben Mängel bis zum nächsten Check unentdeckt. Die Auditfrequenz wird aber nicht erhöht, da sie den zeitlichen Aufwand für das Team weiter steigern würde.

Jetzt Conduktor Agents entdecken

Datenerhebung und Entscheidungsfindung trennen

Am Beispiel des überberechtigten Service-Accounts wird die Struktur deutlich: Vor einer Entscheidung müssen Zugriffsrechte ermittelt, die tatsächliche Nutzung geprüft und verknüpfte Systeme identifiziert werden. Erst danach lässt sich beurteilen, ob Berechtigungen angepasst werden können oder ob ein begründeter Ausnahmefall vorliegt.

Am Beispiel eines überberechtigten Service-Accounts wird das Problem deutlich: Vor einer Entscheidung müssen Zugriffsrechte analysiert, tatsächliche Datenflüsse geprüft und abhängige Systeme identifiziert werden. Erst auf dieser Grundlage lässt sich fundiert beurteilen, ob Berechtigungen eingeschränkt werden können oder eine begründete Ausnahme vorliegt.

Die abschließende Bewertung erfordert tiefes Fachwissen. Der vorgelagerte Prozess der Datenerhebung ist hingegen eine wiederkehrende Routineaufgabe. Dennoch führen Plattformingenieure derzeit meist sowohl die Informationsbeschaffung als auch die Bewertung selbst durch.

Vorbereitung automatisieren

Hier bietet sich ein effizienterer Ansatz an. Wiederkehrende Analysen und Audits lassen sich ereignisgesteuert automatisieren. Benötigte Daten liegen somit bei Bedarf direkt vor und Anfragen treffen bereits analysiert beim Plattform-Team ein.

Diesen Ansatz verfolgen die Conduktor Agents. Die in die Conduktor Console integrierten Agenten überwachen Kafka-Umgebungen kontinuierlich auf Sicherheit, Zuverlässigkeit, Governance und Kosten. Sie arbeiten nach festgelegten Zeitplänen oder reagieren unmittelbar auf Konfigurationsänderungen im System.

Die Analysen decken Eigentümerstrukturen, Nutzungsgrade, Kostenentwicklungen sowie Konfigurationsanpassungen ab. Die Ergebnisse werden zusammen mit den entsprechenden Nachweisen und Handlungsempfehlungen aufbereitet. So lassen sich Sicherheitslücken oder Verstöße gegen Compliance-Vorgaben frühzeitig erkennen und beheben.

Ergänzend erlaubt die Funktion „Ask Conduktor“ Abfragen der Kafka-Landschaft in natürlicher Sprache, beispielsweise zu Verteilung von Berechtigungen oder Kosten. Die individuellen Zugriffsrechte der Nutzer bleiben dabei stets gewahrt. Häufig wiederkehrende Abfragen lassen sich zudem als automatisierte Aufgaben konfigurieren.

Die Agenten agieren innerhalb klar definierter Leitplanken: Sie starten standardmäßig im Lesemodus, nutzen eigene Identitäten und verfügen ausschließlich über die für die jeweilige Aufgabe erforderlichen Rechte. Operative Systemänderungen erfordern weiterhin eine manuelle Bestätigung durch Ingenieure, sofern keine explizite Automatisierung eingerichtet wurde. Alle Aktionen werden nachvollziehbar protokolliert. Es werden KI-Modelle führender Anbieter wie OpenAI und Anthropic sowie die Einbindung über AWS Bedrock unterstützt, wobei die Datenhoheit beim Kunden verbleibt.

In internen Benchmarks auf einer Umgebung mit 1.830 Topics beantworteten Agenten mit den Werkzeugen von Conduktor 90 Prozent der komplexen Anfragen korrekt – im Vergleich zu 13 Prozent bei der Nutzung herkömmlicher Kafka-Tools. Die Conduktor Agents stehen ab sofort kostenlos zur Verfügung. Teams können vordefinierte Aufgaben nutzen oder eigene Workflows erstellen.

Fokus auf strategische Aufgaben

Der hohe Aufwand für manuelle Datenanalysen bindet wertvolle Kapazitäten. Ingenieure fehlen bei der Weiterentwicklung der Plattform, der Bereitstellung neuer Dienste sowie der Optimierung interner Entwicklungsabläufe. Verzögerungen bei Freigaben wirken sich zudem direkt auf die Time-to-Market neuer Softwareprodukte aus.

Eine Aufstockung des Personals oder das Erstellen weiterer Dokumentationen schaffen hier nur bedingt Abhilfe, da der grundlegende Aufwand der manuellen Datenerhebung bestehen bleibt.

Automatisierte KI-Agenten ersetzen nicht das Fachwissen von Ingenieuren. Komplexe Architekturentscheidungen, anspruchsvolle Fehleranalysen und strategische Weichenstellungen verbleiben vollumfänglich bei den Fachexperten. Durch die gezielte Entlastung von Routinearbeiten gewinnen diese jedoch genau den Freiraum zurück, der für wertschöpfende Aufgaben erforderlich ist.

Jetzt Conduktor Agents entdecken

Über die Autorin

Loretta Schwaebe ist Head of Sales EMEA bei Conduktor.(Bild:  Conduktor)
Loretta Schwaebe ist Head of Sales EMEA bei Conduktor.
(Bild: Conduktor)

Loretta Schwaebe ist Head of Sales EMEA bei Conduktor. Das Unternehmen entwickelt eine Plattform, mit der zentrale Kafka-Teams Self-Service, Governance und Sicherheitskontrollen für ihre internen Nutzer bereitstellen. Zur Plattform gehören Console, Gateway und die Conduktor Agents.

(ID:51020209)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung