20.03.2024
High-Volume Data Replication: Fivetran HVR und Qlik Replicate auf dem Prüfstand
Zugriff auf Daten und die Replikation von großen Mengen an Datenbankinhalten ist ein Schlüssel zum Unternehmenserfolg. Die entsprechenden Tools für Datenbankreplikation haben somit eine zentrale Rolle in der Unternehmens-IT.
Tech-Analysten von GIGAOM haben zwei der wichtigsten Anbieter in diesem Bereich jetzt auf den Prüfstand gestellt: Fivetran HVR und Qlik Replicate. Der aktuelle Report des Technologieforschungsunternehmens GigaOm vergleicht vor allem die Replikationslatenz und die Gesamtbetriebskosten zwischen Fivetran HVR und Qlik Replicate: Mit 200 GB/Stunde erzielte Fivetran HVR eine 27-fach geringere Latenz und erwies sich als 63 % kostengünstiger als Qlik Replicate.
GigaOm berichtet über Einzelheiten der Tests und Spezifikationen
In den Benchmark-Tests wurden Fivetran HVR und Qlik Replicate bei hohen Änderungsdatenraten pro Stunde verglichen. Jede Plattform lief mit einer Oracle-Datenbank, die auf einer AWS EC2-Instanz installiert war, wobei HammerDB eine TPC-C-ähnliche Datenbank sowie zusätzliche breite Tabellen zur Erweiterung der Menge der erzeugten Änderungsdaten erstellte. Alle Test-Spezifikationen und das gesamte SetUp des Tests finden sich auf der Seite von GigaOM:
„Diese Ergebnisse unterstreichen, was wir bereits wussten: Fivetran ist führend im Bereich der Datenintegration, insbesondere wenn es um Leistung und Kosten geht. Wir sind ständig dabei, unsere Datenbankreplikationsfunktionen zu innovieren und zu optimieren, um sicherzustellen, dass wir die Anforderungen unserer Kunden über alle Strukturen, Cloud-Plattformen und Einsatzanforderungen hinweg erfüllen." - Helge Scheil, EVP – Engineering, Fivetran.
Fivetran hat erhebliche Investitionen in die Replikationslatenz, den High-Volume-Durchsatz und die Unterstützung zusätzlicher Infrastrukturen und Einsatzmodelle getätigt. Das Unternehmen bietet mehrere Datenbankreplikationslösungen zur Übertragung von Daten aus über 15 Datenbank- und Data-Warehouse-Quellen an, dazu gehören Oracle, PostgreSQL und SQL-Server. Damit werden die Anforderungen großer Unternehmen erfüllt, die ihre Daten - ob vor Ort oder in der Cloud - für Business-Erkenntnisse, prädiktive Analysen und KI/ML-Workloads nutzen.
Ergebnisse und Schlussfolgerungen des GigaOm-Berichts
Da der Bedarf an Echtzeitdaten wächst, sorgt eine geringere Replikationslatenz für schnellere Erkenntnisse und Geschäftsentscheidungen. Gleichzeitig benötigen Unternehmen bei der Anschaffung neuer Softwareplattformen eine kluge Budgetplanung. Daher sollte die ideale Datenintegrationsplattform eine niedrige Replikationslatenz sowie geringe Gesamtbetriebskosten aufweisen. GigaOm verglich die Betriebskosten von Fivetran HVR und Qlik Replicate über den Zeitraum von einem Jahr. Diese Berechnung umfasste die Lizenz- und Nutzungskosten jeder Plattform sowie die Kosten für EC2-Instanzen und Snowflake, wenn die Synchronisierung der Daten stündlich 24/7 erfolgt. Die Kosten für die Snowflake-Ingestion trugen erheblich zu den Gesamtbetriebskosten bei. Angesichts der geringen Latenz und der effizienten Replikation von Fivetran HVR waren die Snowflake-Kosten niedrig und stiegen kaum an, wobei die Datenmengen von 6.233 US-Dollar bei 50 GB/Stunde auf 7.127 US-Dollar bei 200 GB/Stunde stiegen. Bei Qlik Replicate hingegen wuchsen die Snowflake-Kosten aufgrund der höheren Latenz und der längeren aktiven Zeiten von 6.852 US-Dollar bei 50 GB/Stunde auf 81.802 US-Dollar bei 200 GB/Stunde.
Die Gesamtbetriebskosten von Fivetran HVR belaufen sich bei einer Replikation von 200 GB/Stunde an Änderungsdaten für ein Jahr auf 63.991 US-Dollar und liegen damit deutlich unter denen von Qlik Replicate mit 171.530 US-Dollar.
Fivetran investiert weiter in die Innovation der Datenbankreplikation
Mit Innovationen wie der logfreien Erfassung von Änderungsdaten für Datenbanken und der Unterstützung von On-Premises-, Hybrid- und Cloud-Infrastrukturen treibt Fivetran die Entwicklung im Bereich der Datenbankreplikation weiter voran. Fivetran erzielte erhebliche Fortschritte bei Latenz, Durchsatz und Kosten für die Datenbankreplikation. Dadurch ist gewährleistet, dass Unternehmen wertvolle Erkenntnisse zu niedrigeren Kosten als die Konkurrenz gewinnen können.
„Unser Ziel ist es, jedes Szenario der Datenbankreplikation effizient und sicher zu gestalten", sagt Kiran Prabhakara, VP Product Management of Databases bei Fivetran. „Wir investieren weiterhin in neue Funktionen und Möglichkeiten für unsere Datenbankkonnektoren, wie z.B. hybride Bereitstellungsoptionen und zusätzliche Replikationsmethoden."
Der GigaOm-Bericht verdeutlicht, dass Fivetran führend und innovativ in der Datenintegration ist und Daten effizienter und kostengünstiger als die Konkurrenz bewegt. Unternehmen wie Autodesk, Condé Nast, JetBlue und Morgan Stanley ziehen erheblichen Nutzen aus der Zusammenarbeit mit Fivetran, um Daten zu replizieren, Analysen voranzutreiben, die betriebliche Effizienz zu steigern und Innovationen zu fördern. Fivetran steht an der Spitze der Datenbankreplikation und erfüllt die Anforderungen der Kunden nach schnellerem Datenverkehr, höherem Volumen und geringerer Latenz zu einem erschwinglichen und nachhaltigen Preis.