Datenreplikation für Linux

Es ist nicht überall bekannt, aber Linux verfügt im Betriebssystem über viele Speicherfunktionen, die ab Werk leistungsfähig sind. Das Wiener Start-Up LINBIT hat diese nun zu einem kompletten Storage-Paket mit Datenreplikation und Hochverfügbarkeit gebündelt. LINBIT beschleunigt die Anforderungen von Unternehmen an Hochverfügbarkeit und softwaredefinierten Speicher, indem es gängige Standardhardware in schnellen, zuverlässigen Blockspeicher verwandelt.

Die DRBD-Software ist ein verteiltes repliziertes Speichersystem für die Linux-Plattform. Es ist in Form eines Kernel-Treibers, mehrerer User-Space-Management-Anwendungen und einiger Shell-Skripte implementiert. DRBD wurde traditionell in Hochverfügbarkeits-Computerclustern (HA) eingesetzt. Ab DRBD Version 9 kann es jedoch auch zur Erstellung größerer softwaredefinierter Speicherpools mit Schwerpunkt auf der Cloud-Integration verwendet werden.

Datenreplikation mit sehr geringen Leistungseinbußen

DRBD ist die schnellste Replikationstechnologie in der Linux-Welt. Das Wiener Start-Up LINBIT hat vor kurzem den IOPS-Weltrekord von 14,8 Millionen erreicht. Die Schaffung einer weiteren Schicht im Datenpfad führt jedoch immer zu einer gewissen Latenz und einem Rückgang der IO. Bei der Replikation von Daten können Unternehmen mit sehr geringen Leistungseinbußen rechnen.

LINBIT verfügt über eine RDMA-API (Verbs). Die DRBD-Software arbeitet über Infiniband, RoCE oder iWarp, um die Leistungsbeschränkungen von TCP/IP zu überwinden. DRBD ist auch ein Baustein, aber von LINBIT. „Es ist seit 21 Jahren mein Lebenswerk,“ so Philipp Reisner, CEO LINBIT. Linux Storage wird genutzt von Leuten, die es kennen. DRBD ist wie ein RAID 1 über das Netzwerk. Es handelt jede Schreibanfrage im Stack ab. Es funktioniert synchron und asynchron. Letzteres ist besser, wenn große Distanzen überwunden werden müssen.

DRBD kann seit Version 9 primäre und sekundäre Storage Rollen einnehmen. Das erleichtert Fail Over. DRBD unterstützt bis 32 synchrone oder asynchrone Replicas. Mit DRBD können Sie verschiedene Synchronisierungsmethoden für jedes Volume in einem einzelnen Cluster wählen. Während synchron in einem Rechenzentrum oder bei lokaler Replikation verwendet wird, wird asynchron in den meisten Fällen für die Fernreplikation bevorzugt.

Kostenpflichtiges Support-Abonnement

Die Software ist quelloffen, Benutzer können den Quellcode von GitHub, Tarballs von unserer Website oder vorkompilierte Binärdateien (deb und rpm) von den LINBIT Kunden-Repositories herunterladen.  Für die vorkompilierten Binärdateien ist ein kostenpflichtiges Support-Abonnement erforderlich.

Sie können DRBD Proxy auf demselben Rechner oder auf separaten Rechnern installieren.  DRBD Proxy verwendet RAM als Puffer, daher kann es je nach Arbeitsbelastung und Anforderungen sinnvoll sein, einen separaten Rechner zu verwenden.  In Fällen, in denen zahlreiche Ressourcen über einen einzigen Proxy laufen, wird ein separater Rechner dringend empfohlen.  DRBD Proxy läuft unter Linux.

DRBD ist eine Technologie zur Replikation von Daten in Echtzeit. Es handelt sich nicht um eine Backup-Lösung. Sie können jedoch innerhalb von LINBIT SDS (LINSTOR) mit LVM und DRBD Snapshots erstellen und diese dann zu Sicherungszwecken in einen anderen Speicher übertragen. Auf der Roadmap stehen Performace Optimierung und der Ersatz von Stacking.

Back-End-Speicher durch DRBD repliziert

Im Grunde ist aber auch DRBD nur ein Baustein. Durch die Verwendung von LINSTOR können Nutzer über einen hochverfügbaren CloudStack-Primärspeicher für die virtuellen Festplatten von  virtuellen Maschinen (VM) verfügen, da der Back-End-Speicher durch DRBD repliziert wird. LINSTOR bietet eine einzige Schnittstelle zum Erstellen und Verwalten von DRBD-Geräten auf den Clusterknoten.

LINSTOR stellt außerdem eine API zur Verfügung, die von LINBIT-Treibern für verschiedene andere Softwareplattformen wie Kubernetes, OpenStack oder andere verwendet wird, um replizierten Blockspeicher nach Bedarf zu erstellen. LINSTOR kann nativ Backups und Snapshots Ihrer Volumes in S3 als Teil eines Backup- oder DR-Plans bereitstellen. Außerdem werden Prometheus-Metriken zur Überwachung des Clusterzustands und der Nutzungsstatistiken bereitgestellt.

LINSTOR hat zwei Hauptkomponenten LINSTOR Satellite und LINSTOR Controller. Der Controller kontaktiert alle Satelliten im Cluster. In der bisher größten Installation kontrolliert der Controller über 650 Satellites mit etwa 10.000 Volumes. Die Kontrollstruktur ist unabhängig vom Datenpfad.

Darüber hinaus profitieren Nutzer bei ihrem CloudStack-Primärspeicher von weiteren Vorteilen, die LINSTOR mit sich bringt. Diese Vorteile umfassen: Schnappschüsse, Backup-Versand, Selbstheilung, QoS-Kontrolle, Überwachung

LINBIT auf AWS Marketplace

LINBIT hat kürzlich ein kostenloses AMI in den AWS Marketplace eingestellt, das auf der neuesten Ubuntu LTS-Version basiert und LINBITs Ubuntu Personal Package Archive (PPA) vorkonfiguriert und LINBITs Pakete vorinstalliert hat.

Sie erhalten das neueste Ubuntu LTS mit der folgenden vorinstallierten LINBIT-Software:

DRBD-Kernelmodul für die Blockgeräte-Replikation

LINSTOR für die Bereitstellung von DRBD-Geräten

DRBD Reactor für die Verwaltung von Cluster-Ressourcen und HA

DRBD ermöglicht AWS-Benutzern die Replikation von Blockspeicher (EBS-Volumes) über Availability Zones (AZ) hinweg. Dies gibt die Gewissheit, dass sich ein Replikat Ihres Volumes nicht nur in einem, sondern in vielen AWS-Rechenzentren befindet. Mit einer exakten Replik Ihres Volumes in einer anderen AZ haben Nutzer die Gewissheit, dass sie auf Ihre Daten zugreifen können, selbst wenn eine AZ nicht verfügbar ist, ohne sich auf die Migration von EBS-Volumes verlassen zu müssen, die während eines AZ-Ausfalls möglicherweise nicht möglich ist.

Das LINBIT-AMI kann direkt vom AWS Marketplace aus gestartet werden. Wer dies tut, hat die Möglichkeit, die empfohlenen Sicherheitsgruppeneinstellungen zu verwenden, die alle Regeln für einen funktionierenden LINSTOR-, DRBD- und DRBD Reactor-Cluster enthalten. Es sollte nur sichergestellt sein, dass Nutzer jede Instanz in einem anderen AZ (Subnetz) unterbringen und das Subnetz der VPC als Quelle für Sicherheitsgruppenregeln verwendet wird. Außerdem sollte jeder Instanz ein zusätzliches EBS-Volume hinzugefügt werden, das LINSTOR oder DRBD als Backup-Speicher verwenden können.

DRBD Reactor kann als Cluster-Ressourcenmanager konfiguriert werden und ermöglicht so ein automatisches Failover von Diensten zwischen AZs, basierend auf dem Quorum-Status von DRBD. DRBD Reactor kann die Open Cluster Framework (OCF)-Ressourcen-Agenten verwenden, die Pacemaker-Benutzern bekannt vorkommen dürften und die Management- und Überwachungsagenten für viele Anwendungen und Dienste (einschließlich Amazon Elastic IPs) enthalten. Wenn die gewünschte Anwendung keinen Ressourcen-Agenten hat, können Sie auch systemd-Einheiten verwenden, um Anwendungen zu starten und zu stoppen. DRBD Reactor stellt auch Prometheus-Metriken zur Überwachung der Leistung und des Zustands von DRBD bereit.

Mit dem Piraeus Datastore als gemeinsame Anstrengung von LINBIT und der chinesischen Firma DaoCloud werden alle Verbindungen zu Kubernetes gebündelt.