gesponsertKommentar von Loretta Schwaebe, Head of Sales EMEA, ConduktorKafka-Teams im Dauerbetrieb: Warum Expertenwissen in Routinearbeit versickert
5 min Lesedauer
Ein typischer Arbeitstag im Kafka-Plattform-Team. Eigentlich steht ein wichtiges Upgrade auf dem Programm. Doch der Alltag sieht anders aus. Ein Konnektor fällt aus, Entwicklerteams warten auf Freigaben für Topic-Zugriffe, und für ein weiteres Topic lässt sich kurzfristig keine verantwortliche Person ermitteln. Jedes Problem für sich erscheint überschaubar, in der Summe jedoch binden diese Routineaufgaben erhebliche Kapazitäten und verzögern strategische Projekte.
Die in die Conduktor Console integrierten Conduktor Agents überwachen Kafka-Umgebungen kontinuierlich auf Sicherheit, Zuverlässigkeit, Governance und Kosten.
(Bild: Conduktor)
In vielen IT-Organisationen ist das gelebte Realität. Apache Kafka bildet das Rückgrat moderner Echtzeit-Datenarchitekturen. Doch mit jeder neuen Anwendung, jedem angebundenen Team und jedem KI-Agenten steigt der administrative Aufwand exponentiell. Die Plattform-Teams wachsen selten im gleichen Maße mit. Das Resultat: Eine Handvoll Spezialisten betreut Hunderte von Anwendern. Der Engpass ist dabei längst nicht mehr die technische Infrastruktur, sondern die Arbeitszeit der Fachkräfte.
Drei Arten von Aufgaben im Plattformbetrieb
Die Aufgaben im Plattformbetrieb lassen sich im Wesentlichen in drei Kategorien unterteilen:
Eingehende Störungsmeldungen und Anfragen: Tickets, Systemwarnungen und Nachrichten zu unterbrochenen Consumern oder fehlerhaften Konnektoren.
Manuell zu identifizierende Abweichungen: Überflüssige Rechte von Service-Accounts, nicht zugewiesene Topics oder unklassifizierte personenbezogene Daten.
Unterstützung für Entwicklerteams: Freigaben für Zugriffe, neue Topics oder Schemaänderungen sowie Hilfestellungen bei Konfigurationsproblemen.
Eingehende Störungsmeldungen: Akute Support-Anfragen, Ticket-Meldungen, unterbrochene Consumer-Verbindungen oder fehlerhafte Konnektoren.
Manuelle Identifikation von Abweichungen: Verwaiste Topics, übermäßig vergebene Rechte bei Service-Accounts oder unklassifizierte personenbezogene Daten.
Unterstützung der Entwicklerteams: Freigaben für Zugriffe, Erstellung neuer Topics, Schema-Änderungen sowie Hilfe bei Konfigurationsfragen.
Obwohl diese Anforderungsprofile sehr unterschiedlich sind, werden sie in der Praxis meist von denselben Fachexperten bearbeitet.
Abweichungen im laufenden Betrieb fallen meist nicht auf
Besonders die zweite Kategorie birgt Risiken, da Abweichungen im laufenden Betrieb oft unbemerkt bleiben. Während ein Ausfall eines Brokers oder hoher Consumer-Lag sofort automatische Warnmeldungen auslöst, gilt das nicht für einen Service-Account mit ungenutzten Administratorrechten. Auch fehlende Eigentümerstrukturen bei Topics, unverschlüsselte Personendaten oder ablaufende Zertifikate führen nicht unmittelbar zu Systemfehlern. Kafka läuft vordergründig stabil weiter – während im Hintergrund Sicherheits- und Compliance-Risiken anwachsen.
Die notwendigen Informationen zur Behebung sind im System vorhanden, müssen jedoch manuell gesucht, zusammengetragen und bewertet werden. Das betrifft unterschiedliche Stakeholder: Die IT-Sicherheit benötigt Transparenz über Zugriffe, Governance-Teams achten auf sensible Daten, FinOps bewertet Kostenstrukturen, und das Plattform-Team selbst muss den Systemzustand sowie die Verantwortlichkeiten im Blick behalten.
Stichtagsbezogene Checks verlieren rasch an Aussagekraft. Ein Audit zu Beginn des Quartals dokumentiert lediglich den zu diesem Zeitpunkt bestehenden Zustand. Ändern sich kurz darauf Konfigurationen, bleiben Mängel bis zum nächsten Check unentdeckt. Die Auditfrequenz wird aber nicht erhöht, da sie den zeitlichen Aufwand für das Team weiter steigern würde.
Am Beispiel des überberechtigten Service-Accounts wird die Struktur deutlich: Vor einer Entscheidung müssen Zugriffsrechte ermittelt, die tatsächliche Nutzung geprüft und verknüpfte Systeme identifiziert werden. Erst danach lässt sich beurteilen, ob Berechtigungen angepasst werden können oder ob ein begründeter Ausnahmefall vorliegt.
Am Beispiel eines überberechtigten Service-Accounts wird das Problem deutlich: Vor einer Entscheidung müssen Zugriffsrechte analysiert, tatsächliche Datenflüsse geprüft und abhängige Systeme identifiziert werden. Erst auf dieser Grundlage lässt sich fundiert beurteilen, ob Berechtigungen eingeschränkt werden können oder eine begründete Ausnahme vorliegt.
Die abschließende Bewertung erfordert tiefes Fachwissen. Der vorgelagerte Prozess der Datenerhebung ist hingegen eine wiederkehrende Routineaufgabe. Dennoch führen Plattformingenieure derzeit meist sowohl die Informationsbeschaffung als auch die Bewertung selbst durch.
Vorbereitung automatisieren
Hier bietet sich ein effizienterer Ansatz an. Wiederkehrende Analysen und Audits lassen sich ereignisgesteuert automatisieren. Benötigte Daten liegen somit bei Bedarf direkt vor und Anfragen treffen bereits analysiert beim Plattform-Team ein.
Diesen Ansatz verfolgen die Conduktor Agents. Die in die Conduktor Console integrierten Agenten überwachen Kafka-Umgebungen kontinuierlich auf Sicherheit, Zuverlässigkeit, Governance und Kosten. Sie arbeiten nach festgelegten Zeitplänen oder reagieren unmittelbar auf Konfigurationsänderungen im System.
Die Analysen decken Eigentümerstrukturen, Nutzungsgrade, Kostenentwicklungen sowie Konfigurationsanpassungen ab. Die Ergebnisse werden zusammen mit den entsprechenden Nachweisen und Handlungsempfehlungen aufbereitet. So lassen sich Sicherheitslücken oder Verstöße gegen Compliance-Vorgaben frühzeitig erkennen und beheben.
Ergänzend erlaubt die Funktion „Ask Conduktor“ Abfragen der Kafka-Landschaft in natürlicher Sprache, beispielsweise zu Verteilung von Berechtigungen oder Kosten. Die individuellen Zugriffsrechte der Nutzer bleiben dabei stets gewahrt. Häufig wiederkehrende Abfragen lassen sich zudem als automatisierte Aufgaben konfigurieren.
Die Agenten agieren innerhalb klar definierter Leitplanken: Sie starten standardmäßig im Lesemodus, nutzen eigene Identitäten und verfügen ausschließlich über die für die jeweilige Aufgabe erforderlichen Rechte. Operative Systemänderungen erfordern weiterhin eine manuelle Bestätigung durch Ingenieure, sofern keine explizite Automatisierung eingerichtet wurde. Alle Aktionen werden nachvollziehbar protokolliert. Es werden KI-Modelle führender Anbieter wie OpenAI und Anthropic sowie die Einbindung über AWS Bedrock unterstützt, wobei die Datenhoheit beim Kunden verbleibt.
In internen Benchmarks auf einer Umgebung mit 1.830 Topics beantworteten Agenten mit den Werkzeugen von Conduktor 90 Prozent der komplexen Anfragen korrekt – im Vergleich zu 13 Prozent bei der Nutzung herkömmlicher Kafka-Tools. Die Conduktor Agents stehen ab sofort kostenlos zur Verfügung. Teams können vordefinierte Aufgaben nutzen oder eigene Workflows erstellen.
Fokus auf strategische Aufgaben
Der hohe Aufwand für manuelle Datenanalysen bindet wertvolle Kapazitäten. Ingenieure fehlen bei der Weiterentwicklung der Plattform, der Bereitstellung neuer Dienste sowie der Optimierung interner Entwicklungsabläufe. Verzögerungen bei Freigaben wirken sich zudem direkt auf die Time-to-Market neuer Softwareprodukte aus.
Eine Aufstockung des Personals oder das Erstellen weiterer Dokumentationen schaffen hier nur bedingt Abhilfe, da der grundlegende Aufwand der manuellen Datenerhebung bestehen bleibt.
Automatisierte KI-Agenten ersetzen nicht das Fachwissen von Ingenieuren. Komplexe Architekturentscheidungen, anspruchsvolle Fehleranalysen und strategische Weichenstellungen verbleiben vollumfänglich bei den Fachexperten. Durch die gezielte Entlastung von Routinearbeiten gewinnen diese jedoch genau den Freiraum zurück, der für wertschöpfende Aufgaben erforderlich ist.
Loretta Schwaebe ist Head of Sales EMEA bei Conduktor.
(Bild: Conduktor)
Loretta Schwaebe ist Head of Sales EMEA bei Conduktor. Das Unternehmen entwickelt eine Plattform, mit der zentrale Kafka-Teams Self-Service, Governance und Sicherheitskontrollen für ihre internen Nutzer bereitstellen. Zur Plattform gehören Console, Gateway und die Conduktor Agents.
(ID:51020209)
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.