Im Test: Talend Integration Cloud

Cloud-basierte Datenintegration mit leistungsfähiger Entwicklungsumgebung

Seite: 2/2

Firmen zum Thema

Talend Studio for Cloud

Gehen wir nun noch kurz auf das Talend Studio for Cloud ein. Obwohl Talend bereits viele Aktionen für die Integration Cloud vordefiniert hat und in Talend Exchange noch eine Vielzahl andere Features verfügbar sind, wird es vorkommen, dass die zuständigen Mitarbeiter auch eigene Datentransformationen, Datenquellen oder auch Datenziele definieren müssen. Zu diesem Zweck liefert Talend das eben genannte Studio mit. Die mit dieser Entwicklungsumgebung erstellten Aktionen lassen sich in die Integration Cloud hochladen und können dann innerhalb der Flows zum Einsatz kommen.

Bildergalerie
Bildergalerie mit 10 Bildern

Anders als die meisten anderen Entwicklungsumgebungen arbeitet das Studio for Cloud mit einer Sammlung von Icons, die bestimmte Funktionen repräsentieren. Möchte ein Benutzer mit dem Studio eine Software entwickeln, so muss er lediglich die dazugehörigen Icons in den Arbeitsbereich ziehen, die benötigten Konfigurationsparameter – wie zum Beispiel erforderliche Variablen oder Pfade – angeben und die Icons anschließend so verbinden, dass die Darstellung eines Datenflusses erscheint. Die Verbindungen definieren folglich, in welcher Reihenfolge die einzelnen Funktionen abgearbeitet werden.

In der Praxis läuft die Arbeit mit dem Studio folgendermaßen ab: Nach dem Anlegen oder Öffnen eines Projekts haben die zuständigen Mitarbeiter die Möglichkeit, auf der rechten Seite des Arbeitsfensters auf eine Art „Werkzeugkasten“ zuzugreifen, der alle Icons mit den vordefinierten Funktionen enthält. Dieser lässt sich einfach nach Schlagworten durchsuchen, wurde aber auch in Gruppen wie „Big Data“, „Cloud“, „Datenbanken“, „ELT“ und „System“ aufgeteilt, damit die Verantwortlichen ihre Tools problemlos finden. Kennen sie den Namen der von ihnen gerade benötigten Funktion, so reicht es sogar, diesen Namen in Arbeitsbereich einzutippen, danach bietet das Studio direkt das entsprechende Icon an. Greifen die Mitarbeiter auf den Werkzeugkasten zurück, so können sie die Icons einfach per Drag-and-Drop platzieren.

Wurde die Funktion mit allen Icons und dem Datenfluss definiert, so haben die zuständigen Mitarbeiter die Möglichkeit, sie direkt im Studio zu testen. Läuft der Task ohne Schwierigkeiten durch, so lässt er sich im nächsten Schritt in die Integration Cloud hochladen und dort benutzen. Treten Fehler auf, so bietet das Studio umfassende Optionen zum Debuggen.

Im Test erzeugten wir zu diesem Zeitpunkt ein Eingabeelement, das sehr spezifische Anforderungen erfüllte. Wir hatten zuvor mit Hilfe einer Android-App eine Datenbank mit den bei uns vorhandenen Büchern erstellt und wollten diese Datenbank in ein anderes System importieren. Leider war die Android-App lediglich dazu in der Lage, die Inhalte in Form einer CSV-Datei zu exportieren, die in keiner Hinsicht standardkonform war. Sie ließ sich also nicht mit einer der vorgefertigten Importfunktionen der Integration Cloud importieren. Das lag an dem – wie gesagt sehr seltsamen – Format der Datenquelle, nicht an der Talend-Lösung selbst, machte aber manuelle Entwicklungsarbeiten nötig.

Deswegen passten wir im Studio die Aktion „csv_file_toColumns_process_step“ so an, dass das System die in unserer CSV-Datei enthaltenen Daten richtig erkennen konnte. Dazu mussten wir manuell das Encoding, den Field-Separator und ähnliche Parameter, die in unserer Datei nicht den üblichen Erwartungen entsprachen, an die aktuellen Gegebenheiten anzupassen. Nachdem wir die modifizierte Aktion über einen Rechtsklick auf den Eintrag und die Auswahl des Befehls „Publish to Cloud“ in unseren Workspace in der Cloud hochgeladen hatten, konnten wir sie zu unserem Flow hinzufügen und auch gleich benutzen.

Fazit

Mit der Integration Cloud liefert Talend ein sehr leistungsfähiges Produkt zur Datenintegration aus. Trotz der großen Flexibilität und des großen Funktionsumfangs ist die Lösung relativ einfach zu bedienen und ermöglicht es Unternehmen beispielsweise „Do it yourself“-Datenintegrationsprojekte zu realisieren.

In vielen Fällen kann es dazu erforderlich sein, dass die Entwicklungsabteilung mit dem Studio für Cloud die im jeweiligen Unternehmen benötigten Aktionen vordefiniert. Wurde das einmal erledigt, so können die Datenintegrationsverantwortlichen als eine Art Endbenutzer über das Web-Interface die von ihnen benötigten Flows selbst zusammenstellen und modifizieren. Das spart sowohl Zeit für die Entwicklungsabteilung, die sich nach der erstmaligen Einrichtung der benötigten Aktionen nur noch in Sonderfällen mit der Datenintegration befassen muss, als auch bei den "Endbenutzern", die nur Kenntnisse über die Arbeit mit dem Web-Interface und dem Flow Builder benötigen.

Auch die IT-Administration wird durch die Integration Cloud entlastet, macht die Cloud es doch überflüssig, die Umgebung zum Abarbeiten der Datenintegrationsprojekte mit Hard- und Software, Hochverfügbarkeit und Sicherheit on-premise zu implementieren und zu warten. Das spart vor allem im Big Data-Umfeld viel Geld und Arbeit.

* Der Autor: Dr. Götz Güttich leitet das Testlabor IAIT in Korschenbroich.

Artikelfiles und Artikellinks

(ID:43728350)