13 Min. Lesezeit

Lernziele

Am Ende dieses Moduls werden Sie in der Lage sein:

  • Ein Wiederherstellungskonzept auf von der Geschäftsführung verantworteten Zielen für die Wiederherstellungszeit und den Wiederherstellungspunkt verankern und diese einer von drei Wiederherstellungsstrategien zuordnen, die aus Plattformbausteinen aufgebaut sind
  • Jedes redundante Paar in expliziten Verfügbarkeitszonen platzieren und einen Bestand auf die Auto-Zone-Falle prüfen
  • Die Traffic-Steuerungsebene von der Datenkontinuitätsebene trennen und ein Failover so anordnen, dass die Steuerung niemals der Datenübertragung vorausläuft
  • Die Redundanz von Private Cloud Hosts und vSAN mit der Zonenplatzierung und der DNS-Steuerung in einer hybriden Umgebung abgleichen
  • Das überwachte DNS-Failover von FinCorp von einem Zwei-Zonen-Paar in Frankfurt zum Wiederherstellungs-VDC in Berlin im Data Center Designer (DCD) erstellen und validieren

Einheit 7.1: Resilienz und Business Continuity

Einführung

Modul 3 hat die Steuerungs-Ebenen aufgebaut: Health Checks für Load Balancer, IP-Failover-Gruppen und einen Cloud DNS-Eintrag, den Ihr Monitoring neu schreibt (Einheiten 3.3 bis 3.7). Modul 5 hat die Kopien aufgebaut: point-in-time recovery, Offsite-Sicherungsorte, Snapshots und ein gesperrtes Archiv (Einheiten 5.3 und 5.7). Keine der beiden Hälften ist für sich genommen ein Wiederherstellungsentwurf. Ein Eintrag, der auf Berlin zeigt, bevor Berlin die Daten hat, ist ein Ausfall mit einer neuen Adresse.

Diese Einheit verbindet die beiden Hälften. Sie beginnt mit den Zielen, die das Unternehmen setzt, wählt für jede Workload eine Strategie, platziert die redundanten Teile so, dass ein einzelner Ausfall beide nicht gleichzeitig treffen kann, und endet mit dem Aufbau und der Übung des Cross-Site-Failovers, das das Risiko-Team von FinCorp abnimmt.

1. Ziele und Strategien

1.1 RTO und RPO liegen in der Verantwortung des Unternehmens

Das Recovery Time Objective (RTO) ist die längste Ausfallzeit, die ein Dienst haben darf. Das Recovery Point Objective (RPO) ist der neueste Datenstand, den das Unternehmen verlieren darf. Beides sind geschäftliche Entscheidungen: Der Architekt kalkuliert sie, der Geschäftsführer wählt sie, und das Design muss sie anschließend in einer Übung nachweisen. Ein Ziel, das niemand getestet hat, ist eine Hoffnung, kein Ziel.

Auf dieser Plattform trägt jeder Mechanismus einen bekannten Anteil zu diesen Werten bei, und das Design addiert sie:

  • RPO stammt aus der Datenebene. Strikt synchrones DBaaS für PostgreSQL verliert bei einem Failover innerhalb des Clusters keine bestätigte Transaktion, während bei einem Standortausfall der noch nicht am Sicherungsort hochgeladene WAL verloren geht, bis zu etwa fünf Minuten (Einheit 5.3).
  • RTO besteht aus der Erkennungszeit, plus der Zeit, die benötigt wird, um die Daten am anderen Standort verfügbar zu machen, plus der Zeit, die die Clients benötigen, um umzuleiten. Clients folgen einem Cloud DNS-Eintrag innerhalb einer TTL, und der Mindestwert der TTL beträgt 60 Sekunden (Einheit 3.7).

1.2 Drei Strategien auf Basis von Plattform-Bausteinen

Jede Strategie erkauft sich ein niedrigeres RTO mit höheren laufenden Kosten. FinCorp wählt pro Arbeitslast, nicht pro Unternehmen.

Strategie Was am Wiederherstellungsstandort vor dem Vorfall läuft Wiederherstellungsmechanismus RTO-Verlauf Laufende Kosten
Sicherung und Wiederherstellung Nichts; ein Netzwerkplan und das Runbook Backup Service stellt wieder her, ein neues DBaaS-Cluster aus einer Offsite-Sicherung, Server werden aus Images neu aufgebaut, die am Wiederherstellungsstandort hochgeladen wurden Stunden: Alles wird während des Vorfalls provisioniert Nur Sicherungen und Speicher
Pilot light VDC, LANs, reservierte IPs, ALB, DNS-Einträge und Images; Server im DCD gestoppt Server starten, Datenbank aus Sicherung erstellen, DNS-Eintrag umschreiben Erkennung plus Datenbankwiederherstellung plus eine TTL Netzwerk und Speicher; bei gestoppten Servern sind CPU- und RAM-Abrechnungen ausgesetzt
Active-active (zustandslose Ebenen) Vollständige zustandslose Ebenen an beiden Standorten, jede bedient ihren eigenen Anteil des Traffics Der überlebende Standort übernimmt die Namen des ausgefallenen Standorts; die Datenebene failt wie bei Pilot light um Minuten für die zustandslosen Ebenen Zwei vollständige Compute-Ebenen

Drei Plattformtatsachen prägen die Tabelle. Ein über das DCD gestoppter Server hat seine Ressourcen freigegeben und die Abrechnung ist ausgesetzt, während ein Shutdown innerhalb des Betriebssystems die Abrechnung aufrechterhält; das Stoppen gibt auch eine dynamisch zugewiesene IP-Adresse frei, daher muss jede Adresse, von der der Wiederherstellungsstandort abhängt, reserviert sein. Hochgeladene Images und Snapshots sind an ihre Region gebunden, daher benötigt der Standort Berlin eigene Kopien. Und DBaaS-Replikation läuft zwischen den Instanzen eines Clusters, innerhalb eines Standorts (Einheit 5.3), daher bietet keine Strategie hier eine zweite schreibbare Datenbank in der anderen Region. „Active-active“ bedeutet auf dieser Plattform daher aktive zustandslose Ebenen über einer Single-Writer-Datenebene.

Die Zuordnung von FinCorp lautet:

Arbeitslast RTO / RPO (vom Unternehmen festgelegt) Strategie
Kundenportal und Partner-API 1 Stunde / 5 Minuten Pilot light in fc-prod-txl-dr
Fallmanagement auf fc-mongo-cases 8 Stunden / 24 Stunden Sicherung und Wiederherstellung aus Dumps
Interne Berichterstattung 2 Tage / 24 Stunden Sicherung und Wiederherstellung

2. Platzierung innerhalb einer Site

2.1 Zonen sind separate physische Ressourcen

Innerhalb eines Rechenzentrums trennen Verfügbarkeitszonen die Fehlerdomänen. Ein Server oder ein Speichergerät, das der Zone 1 zugewiesen ist, befindet sich auf einer anderen physischen Ressource als ein Gerät, das der Zone 2 zugewiesen ist. Server bieten Zone 1, Zone 2 und Auto (der Standardwert, bei dem das System eine Zone bei der Bereitstellung zuweist) an. Block Storage ergänzt Zone 3, die kein Berechnungs-Äquivalent hat (Einheit 5.1).

Die beiden Ebenen verhalten sich nach der Bereitstellung unterschiedlich. Die Zone eines Servers kann später im Inspector-Panel geändert werden; die Zone eines Volumes ist bei der ersten Bereitstellung festgelegt, und eine Verlagerung erfordert ein Snapshot und ein neues Volume. Ein redundantes Paar, dessen Server sich in Zone 1 und Zone 2 befinden, dessen Volumes jedoch eine Zone teilen, hat seinen gemeinsamen Fehlerpunkt nicht beseitigt.

2.2 Die Auto-Zone-Falle

Auto überlässt die Zuweisung dem System zum Zeitpunkt der Bereitstellung. Für einen einzelnen Server ist das harmlos. Für ein redundantes Paar bedeutet es, dass die Trennung keine dokumentierte Entscheidung ist und niemand einem Prüfer zeigen kann, dass die beiden Mitglieder keine physische Ressource teilen. Die Regel ist einfach: Jedes Mitglied eines redundanten Paares erhält eine explizite Zone, und seine Volumes erhalten dieselbe Zone wie ihr Server.

Die Regel gilt überall, wo Sie die Zone auswählen: Portal- und Datenserver, IP-Failover-Mitglieder (Einheit 3.5) und Kubernetes-Knotenpools, bei denen die Zone Teil der unveränderlichen Knotenvorlage ist, sodass Zonenredundanz einen Pool pro Zone bedeutet (Einheit 6.2). Die verwalteten Edge-Dienste bringen ihre eigene Redundanz mit; das NAT Gateway beispielsweise deployt mehrere Gateways über Verfügbarkeitszonen in einer Region (Einheit 3.5). Zonen schützen vor dem Verlust einer Ressource innerhalb der Site. Sie schützen nicht vor dem Verlust der Site, was Aufgabe des nächsten Abschnitts ist.

3. Zwei Ebenen, eine Reihenfolge

3.1 Steuerung und Kontinuität sind unterschiedliche Ebenen

Ein Failover verschiebt zwei Komponenten, die die Plattform mit unterschiedlichen Mechanismen behandelt:

Ebene Verschiebt Mechanismen Bestimmt
Traffic-Steuerung Wohin neue Anfragen gehen ALB- und NLB-Health-Checks innerhalb einer Site; IP-Failover-Gruppen für eigene Geräte; Ihr Monitor, der einen Cloud DNS-Eintrag zwischen Sites umschreibt RTO, über Erkennungszeit und TTL
Datenkontinuität Wo die neueste Kopie der Daten liegt Replikation innerhalb des Clusters; PITR-Sicherungen an einem externen Sicherungsort; Backup Service; Dumps und replizierte Buckets in Object Storage RPO und der Wiederherstellungsanteil des RTO

Die Ebenen versagen unabhängig voneinander und erholen sich mit unterschiedlicher Geschwindigkeit. Eine Änderung eines Eintrags dauert Sekunden plus eine TTL; das Erstellen und Befüllen eines neuen PostgreSQL-Clusters aus einer Sicherung dauert so lange, wie es die Datengröße erfordert. Für Objektdaten ist die Object Storage-Grenze zu beachten: die replizierende Übertragung über Regionen hinweg funktioniert für benutzereigene Buckets, nicht jedoch für vertragsgebundene Buckets (Einheit 5.2).

3.2 Die Steuerung darf niemals der Datenlage vorauslaufen

Die Failover-Reihenfolge ist festgelegt: den Vorfall erklären, die Daten am Wiederherstellungsort verfügbar machen, sie überprüfen und erst dann den Traffic steuern. Ihr Monitor aus Einheit 3.7 kann eine ausgefallene Site eigenständig erkennen, sollte im Pilot-Light-Design jedoch nur die Erklärung des Vorfalls auslösen und den Eintrag nicht unbeaufsichtigt umschreiben, da die Datenbank in Berlin noch nicht existiert. Nur die statelessen Active-Active-Namen, deren Backends keine Wiederherstellung benötigen, dürfen automatisch failovern.

Das Failback folgt derselben Reihenfolge in umgekehrter Richtung. Nach dem Vorfall erhält Frankfurt die Daten aus Berlin, beispielsweise als neuen Cluster, der aus der Sicherung des Berlin-Clusters erstellt wurde, und erst dann wird der Eintrag zurückverschoben. Ein Failback, das den Daten-Schritt überspringt, verliert jede in Berlin getätigte Schreiboperation.

4. Hybride Umgebungen: Redundanz in der Private Cloud

Die Kernbankensysteme von FinCorp laufen auf einem Private Cloud-Cluster (Einheit 4.4), der über ein eigenes Redundanzmodell verfügt. Innerhalb des Clusters schützt vSAN Daten über mehrere Hosts hinweg: Eine RAID 1-Richtlinie benötigt mindestens drei Hosts, damit zwei vollständige Kopien existieren und eine intakt bleibt, wenn ein Host ausfällt. Änderungen an der Speichereffizienz oder der Verschlüsselung können einen zusätzlichen Host erfordern, um die volle Redundanz aufrechtzuerhalten; andernfalls muss vSAN den Schutzgrad vorübergehend senken, was die Option Allow reduced redundancy erlaubt. Solche Änderungen sollten wie ein Risikofenster und nicht wie eine Routinewartung geplant werden.

Der Cluster befindet sich an einem Standort, daher übernimmt die Host-Redundanz die Rolle, die Zonen in einem VDC spielen: Sie schützt vor einem Ausfall innerhalb des Standorts. Der Schutz vor dem Verlust des Standorts erfolgt über VMware Cloud Director Availability (VCDA), der virtuelle Maschinen asynchron repliziert, Failover durchführt und Failovers zwischen gekoppelten Standorten rückgängig macht. Der Backup Service kann auch zusammen mit Private Cloud für Sicherungen des Estates verwendet werden.

Die beiden Modelle werden in einem einzigen Tabellenblatt im Kontinuitätsplan von FinCorp zusammengeführt:

Ausfall VDC-Estate Private Cloud-Estate
Ein Server oder Host Explizite Zonen, Balancer-Health-Checks vSAN-Kopien auf anderen Hosts, mindestens drei Hosts
Ein Standort Pilot light, DNS-Umschreibung nach Datenwiederherstellung VCDA-Failover replizierter VMs, anschließend derselbe DNS-Schritt für jeden öffentlichen Namen
Datenkorruption PITR auf eine Zielzeit, Dumps Wiederherstellung über den Backup Service

Die Steuerungs-Ebene ist gemeinsam genutzt. Welches Estate auch immer failover-t, ein öffentlicher Name wird über denselben überwachten Cloud DNS-Eintrag verschoben, sodass die TTL-Regel und die Reihenfolge „Daten zuerst" auf beide zutreffen.

DCD-Implementierung: Schritt-für-Schritt-Anleitung

Sie werden das Zonenpaar in Frankfurt mit zwei Zonen überprüfen, die Pilotlicht-Umgebung in Berlin vorbereiten und eine vollständige Failover-Übung für das Portal durchführen: Datenbankwiederherstellung in Berlin, anschließend die DNS-Umleitung und dann die Messung gegenüber dem RTO und RPO. Damit werden die Abschnitte 2.2 und 3.2 umgesetzt: explizite Zonen innerhalb der Site und die Steuerung nach den Daten.

Voraussetzungen: fc-prod-fra-core mit fc-app-01 und fc-app-02, fc-data-01 und fc-data-02 (Einheiten 3.1, 4.1, 4.2); der ALB fc-alb-edge mit der Zielgruppe mit Health Check fc-tg-portal (Einheit 3.3); fc-pg-portal mit einem Sicherungsort außerhalb von Frankfurt (Einheit 5.3); die Zone fincorp.example mit portal, portal-fra und portal-txl, sowie dem externen Monitor (Einheit 3.7); das VDC fc-prod-txl-dr mit seinen LANs, einer reservierten öffentlichen IP und einem ALB; die Berechtigungen Access and manage DBaaS und Access and manage DNS.

Ziel der Einrichtung: Überwachten DNS-Failover über ein Zonenpaar mit zwei Zonen verdrahten und validieren, wobei der Wechsel zwischen den Sites durch Ihre Überwachung erfolgt, nachdem die Daten wiederhergestellt sind.

Schritte (im Data Center Designer):

  1. Öffnen Sie fc-prod-fra-core. Wählen Sie fc-app-01 und prüfen Sie Availability Zone im Inspector-Bereich: Es muss Zone 1 angezeigt werden, nicht Auto. Prüfen Sie fc-app-02 für Zone 2 und die Datenserver auf dieselbe Weise. Korrigieren Sie jetzt einen Server, der auf Auto gesetzt ist; seine Zone kann nach der Bereitstellung geändert werden.
  2. Wählen Sie jedes Volume dieser Server aus und bestätigen Sie, dass dessen Availability Zone mit dem Server übereinstimmt. Ein Volume in der falschen Zone kann nicht geändert werden: Erstellen Sie eine Snapshot und provisionieren Sie ein neues Volume daraus in der richtigen Zone.
  3. Öffnen Sie fc-alb-edge und die Zielgruppe fc-tg-portal, und bestätigen Sie, dass bei beiden Zielen Health Check Enabled aktiviert ist. Diese Checks sind der Failover innerhalb der Site; die Übung darf nicht davon abhängen, dass sie fehlschlagen.
  4. Erstellen Sie in fc-prod-txl-dr die Portal-Ebene aus Images, die am Standort Berlin hochgeladen wurden: zwei Server, Zone 1 und Zone 2, hinter dem ALB in Berlin. Wenn sie ihre Health Checks bestehen, stoppen Sie sie über Power > Stop im Inspector-Bereich und provisionieren Sie die Änderung. Sie warten nun mit ausgesetzter Abrechnung für CPU und RAM.
  5. Starten Sie die Übung in einem Wartungsfenster. Notieren Sie die Zeit, dann gehen Sie zu Menu > Databases > PostgreSQL und wählen Sie Create cluster. Geben Sie einen Cluster Name wie fc-pg-portal-txl ein und wählen Sie den Location Berlin; dieser kann nach der Erstellung nicht geändert werden.
  6. Wählen Sie in Create from backup fc-pg-portal als Backup cluster und wählen Sie die Recover target time. Vervollständigen Sie die Konfiguration wie in Einheit 5.3, mit dem Daten-LAN von Berlin in Network configuration, und wählen Sie Save. Warten Sie, bis der Cluster AVAILABLE ist, und notieren Sie die Zeit.
  7. Starten Sie die beiden Portal-Server in Berlin, richten Sie ihre Datenbankkonfiguration auf den DNS Name des neuen Clusters ein und bestätigen Sie, dass portal-txl über den ALB in Berlin antwortet.
  8. Triggeren Sie die Failover-Aktion Ihres Monitors: der PUT, der portal auf die ALB-Adresse in Berlin umschreibt (Einheit 3.7). Messen Sie, wie lange Test-Clients benötigen, um Berlin zu erreichen.
  9. Dokumentieren Sie die Übung: Erkennungs- oder Deklarationszeit, Datenbankwiederherstellungszeit, DNS-Umschaltzeit und die Lücke zwischen der Wiederherstellungszielzeit und dem letzten Schreibvorgang in Frankfurt. Vergleichen Sie die Summe mit dem RTO von 1 Stunde und die Lücke mit dem RPO von 5 Minuten.
  10. Führen Sie das Failback in derselben Reihenfolge durch: zuerst die Daten nach Frankfurt, dann der DNS-Eintrag. Stoppen Sie die Server in Berlin über den DCD und löschen Sie den Übungs-Cluster, nachdem der Übungsbericht abgenommen wurde.

Häufige Fehler:

  • Ein redundantes Mitglied auf Auto zu belassen. Die Trennung ist dann eine Annahme, keine Entscheidung.
  • Serverzonen zu prüfen und die Volumes zu vergessen. Die Zone eines Volumes ist bei der Bereitstellung festgelegt.
  • Den Monitor automatisch den DNS-Eintrag für eine Ebene umschreiben zu lassen, deren Datenbank zuerst wiederhergestellt werden muss.
  • Die Server in Berlin im Betriebssystem herunterzufahren. Sie werden weiterhin abgerechnet; stoppen Sie sie über den DCD.
  • Sich auf eine dynamisch zugewiesene Adresse am Wiederherstellungsstandort zu verlassen. Das Stoppen eines Servers gibt sie frei; reservieren Sie jede Adresse, auf die ein DNS-Eintrag oder Partner angewiesen ist.
  • Den Sicherungsort von fc-pg-portal in Frankfurt zu belassen. Ein Verlust der Site nimmt dann auch die Sicherungen mit.
  • Die Übung ohne die Datenbankwiederherstellung zu messen. Die Wiederherstellung ist in der Regel der größte Anteil des RTO.

Zusammenfassung

Ein Wiederherstellungsdesign beginnt mit den vom Unternehmen definierten Werten für RTO und RPO und addiert den Beitrag, den jeder Mechanismus leistet. Innerhalb eines Standorts eliminieren explizite Zonen für jedes redundante Mitglied und seine Volumes gemeinsame Fehlerpunkte; zwischen Standorten nutzt das Portal von FinCorp ein Pilot Light in Berlin, wobei die Daten aus der Offsite-Sicherung wiederhergestellt werden, bevor der überwachte Cloud DNS-Eintrag verschoben wird. Private Cloud folgt derselben Logik mit vSAN-Host-Redundanz innerhalb des Clusters und VCDA zwischen Standorten und nutzt dieselbe Steuerungsebene.

Wichtige Punkte:

  • RTO besteht aus Erkennung plus Datenwiederherstellung plus einer TTL; RPO ergibt sich aus der Datenebene, mit bis zu etwa fünf Minuten WAL bei einem Verlust eines PostgreSQL-Standorts.
  • Wählen Sie pro Workload zwischen Backup-Restore, Pilot Light oder Active-Active; auf dieser Plattform bleibt die Datenebene Single-Writer.
  • Weisen Sie jedem redundanten Server und jedem Volume eine explizite Zone zu; Auto ist keine dokumentierte Trennung.
  • Stellen Sie zuerst die Daten wieder her, dann steuern Sie den Verkehr; fahren Sie in derselben Reihenfolge zurück.
  • Stoppen Sie Standby-Server über den DCD und reservieren Sie jede Adresse, von der der Wiederherstellungsstandort abhängt.

Wichtige Begriffe:

  • Pilot light: ein Wiederherstellungsstandort, dessen Netzwerk, Adressen, Balancer, Einträge und Images im Voraus existieren, wobei die Compute-Ressourcen gestoppt sind und die Daten auf Anfrage wiederhergestellt werden.
  • Traffic-Steering-Ebene: die Mechanismen, die entscheiden, wohin neue Anfragen gerichtet werden: Health Checks, IP-Failover und DNS-Einträge.
  • Datenkontinuitätsebene: die Mechanismen, die entscheiden, wo die neueste verwertbare Kopie der Daten liegt: Replikation, Sicherungen, Dumps und replizierte Buckets.