Kommentar von Ralph Völter, Instaclustr In wenigen Minuten zum OpenSearch-Cluster

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

Instaclustr

Die Such- und Analyse-Suite OpenSearch gewinnt als reine Open Source Software zunehmend an Bedeutung. Bei ihrer Einführung und Verwaltung gibt es einige Herausforderungen. Sie bedeuten insbesondere im Eigenbetrieb für die IT-Teams einen erheblichen Aufwand. Als Alternative bietet sich die Nutzung einer Managed Platform an, bei der der Provider alle Aufgaben hinsichtlich Implementierung, Integration, Management oder Wartung übernimmt.

Unternehmen und Entwickler, die eine robuste und performante Such- und Analyse-Lösung benötigen, finden in OpenSearch eine optimale Ergänzung ihres Technologie-Stacks. OpenSearch ist ein Fork der Suchmaschine Elasticsearch und unterstützt eine breite Palette unterschiedlichster Anwendungsfälle. Dazu gehören unter anderem die Log-Analyse und die Volltextsuche. OpenSearch unterstützt zum Beispiel die Analyse von unstrukturierten oder semi-strukturierten Protokollen, wie sie von Sensoren, Servern oder Websites bereitgestellt werden. Und in der Volltextsuche dient OpenSearch für die Erstellung personalisierter Suchergebnisse für die Nutzer einer Anwendung.

Als verteilte RESTful-Such- und Analyse-Engine kann OpenSearch Indizes in Shards unterteilen und Shard-Replikate erstellen. Das ermöglicht es der Lösung, große Datenmengen parallel zu verarbeiten und schnell optimale Abfrageergebnisse zu liefern. Im Hinblick auf die Performance nutzt OpenSearch Algorithmen und Datenstrukturen, die speziell für die Speicherung und Indizierung von Daten mit maximaler Effizienz entwickelt wurden.

OpenSearch skaliert problemlos horizontal, sodass eine einfache Erweiterung von Clustern möglich ist. Dank der integrierten Clustering-Unterstützung kann OpenSearch auch auf mehreren Servern in einem einzigen Cluster ausgeführt werden, wobei stets eine effektive Such- und Analyseleistung gewährleistet bleibt.

Aufwendiger Eigenbetrieb

Die Such- und Analyse-Suite bietet somit viele Vorteile. Allerdings gibt es auch einige Herausforderungen, die vor allem den Eigenbetrieb erschweren. Um mögliche Performancebeeinträchtigungen zuverlässig auszuschließen, sind dabei hauptsächlich folgende Aspekte zu beachten: die Cluster-Größe, die Anzahl der Shards und die Index-Template-Größe.

So ist OpenSearch zwar prinzipiell flexibel skalierbar, aber größere Implementierungen erfordern eine durchdachte Knoten- und Shard-Verteilung – und zwar für die Aufrechterhaltung der Performance und Verfügbarkeit bei gleichzeitiger Bewältigung der erforderlichen Last. Die Lösung besteht darin, Sharding und Replikate zu nutzen, um Indizes zu verteilen und performante Antwortzeiten sicherzustellen.

Bei OpenSearch sind die Indizes in physische Bereiche unterteilt, die Shards genannt werden. Dadurch können Anwender Daten zwischen Hosts aufteilen. Das Problem dabei ist jedoch, dass die Anzahl der Shards zum Zeitpunkt der Indexerstellung festgelegt werden muss und die Shard-Zuweisung später nicht mehr änderbar ist, ohne alle Quelldaten neu zu indizieren. Bei der Shard-Zuweisung sollten Anwender also auch berücksichtigen, dass ihr Datenbestand im Laufe der Zeit wachsen kann.

Index-Templates tragen zu einer erheblichen Zeiteinsparung bei, da sie bei Bedarf die schnelle Erstellung leistungsstarker neuer Indizes ermöglichen. Sehr große Index-Templates führen allerdings auch zu großen Mappings sowie zu langen Update- und Debugging-Zeiten. Es ist folglich am besten, Index-Templates zu vereinfachen, indem man dynamische Templates nutzt oder die Templates so leichtgewichtig wie möglich gestaltet.

Managed OpenSearch als Alternative

Die Kenntnis dieser Herausforderungen ist für den Anwender der erste Schritt auf dem Weg zu einer effizienten und risikolosen OpenSearch-Einführung und -Verwendung. Als sinnvolle Alternative zum aufwendigen Eigenbetrieb kann ein Unternehmen auch eine Managed Platform für OpenSearch nutzen. Sie bietet dem Anwender alles aus einer Hand: von der Bereitstellung und Implementierung über das Management und den Betrieb bis hin zur Skalierung der Lösung. Dabei können die spezifischen Anforderungen des Kunden hinsichtlich Echtzeit-Suche, Analyse oder Datenvisualisierung punktgenau abgedeckt werden. Eine Managed-OpenSearch-Lösung kann meistens in wenigen Minuten in die aktuellen Workflows eines Unternehmens integriert werden. Auch das Aufsetzen des ersten OpenSearch-Clusters erfolgt in Minutenschnelle. Der OpenSearch-Nutzer wird damit entscheidend entlastet, sodass er mehr Zeit und Ressourcen für die Entwicklung und Verfeinerung der eigenen Anwendungen aufwenden kann.

Konkret übernimmt ein Managed-Platform-Anbieter verschiedene Aufgaben. Dazu zählen Log-Analysen, Maßnahmen für die Datensicherheit und den Datenschutz wie eine rollenbasierte Zugriffskontrolle oder kontinuierliche Daten-Backups. In der Regel sammelt und überwacht der Provider viele verschiedene Metriken für jeden verwalteten Knoten. Dadurch ist ein konsistenter und umfassender Überblick über die Verfügbarkeit und Performance jedes Clusters vorhanden. Mittels einfach zu nutzender APIs für das Monitoring und Provisioning kann ein Managed OpenSearch Cluster auch problemlos mit bestehenden DevOps-Tools und -Prozessen auf Kundenseite integriert werden. Idealerweise umfasst ein Managed-OpenSearch-Angebot auch Integrationen mit anderen fortschrittlichen Open-Source-Data-Layer-Technologien wie Apache Cassandra oder Apache Kafka.

Insgesamt ist OpenSearch ein leistungsstarkes Tool, mit dem Unternehmen ihre Such- und Analyseanforderungen abdecken können. OpenSearch kann sehr große Datenmengen verarbeiten, ist hoch skalierbar und unterstützt Antwortzeiten im Millisekundenbereich. Die Architektur ist für die Bewältigung von Knoten- und Rechenzentrumsausfällen ausgelegt und bietet eine hohe Verfügbarkeit und Zuverlässigkeit. Der Zeitaufwand für die Bereitstellung und Verwaltung sollte jedoch nicht unterschätzt werden. Will ein Unternehmen die eigenen Mitarbeiter in Entwicklung und Operations von Tätigkeiten rund um die Administration entlasten, ist eine Managed Platform für OpenSearch eine ideale Alternative. Damit erhält der Kunde eine entscheidende Unterstützung hinsichtlich Design, Hosting und Management eines Daten-Clusters.

(ID:48713780)