Einheit 5.3: Relationale Datenbanken (Managed PostgreSQL / MariaDB)
Einführung
Die relationale Ebene ist der Ort, an dem die Kundenkonten und Zahlungsdaten von FinCorp gespeichert sind, und an dem eine falsche Entscheidung Daten statt Minuten kostet. Drei Entscheidungen sind dabei entscheidend: Wie viele bestätigte Transaktionen ein Failover verlieren darf, wo die Leseleistung herkommt, wenn die Standby-Instanzen keine Lesezugriffe bedienen, und wie die Daten den Verlust eines gesamten Clusters überstehen.
Die verwalteten Engines beantworten jede dieser Fragen auf eine spezifische Weise. DBaaS for PostgreSQL bietet zwei Replikationsmodi an und übernimmt einen Standby automatisch; DBaaS for MariaDB repliziert ausschließlich asynchron. Standardmäßig ist keine der beiden Engines aus dem Internet erreichbar, und Daten werden über Dump und Restore importiert und exportiert. In dieser Einheit wird die Ebene auf der Grundlage dieser Gegebenheiten konzipiert und zum Abschluss wird die Portal-Datenbank von FinCorp im DCD aufgebaut.
1. Replikationsmodus: Festlegung des maximalen Verlusts bei einem Failover
1.1 Die Cluster-Struktur
Ein PostgreSQL-Cluster besteht aus einer primären Instanz und einer oder mehreren Standby-Instanzen, die eine Kopie der aktiven Datenbank ausführen. Ein Cluster mit n Instanzen hat somit n-1 Standbys. Ein Cluster umfasst maximal fünf Instanzen. In jedem Modus wird eine Transaktion zunächst auf dem Leader bestätigt und anschließend auf die Standbys repliziert. Der Modus bestimmt, wann der Client seine Bestätigung erhält.
1.2 Asynchron (Standard)
Im asynchronen Modus bestätigt die primäre Instanz eine Transaktion, nachdem sie diese auf die eigene Festplatte geschrieben hat, und repliziert sie im Hintergrund. Der Vorteil ist eine geringere Latenz. Der Nachteil besteht darin, dass kürzlich durchgeführte Transaktionen verloren gehen können, wenn ein Standby befördert wird: Nicht replizierte Daten gehen bei einem Failover verloren. Die Verzögerung zwischen Leader und Standby beträgt in der Regel einige Millisekunden. Das Recovery Point Objective (RPO) eines Failovers entspricht daher dem Replikationsrückstand zum Zeitpunkt des Ausfalls: in der Regel Millisekunden, jedoch nicht durch eine Garantie begrenzt. Überwachen Sie pg_replication_lag; für kritische Workloads sollte eine Warnung ausgelöst werden, wenn dieser Wert 30 Sekunden überschreitet.
1.3 Strikt synchron
Im strikt synchronen Modus wird ein Commit erst bestätigt, nachdem ein synchroner Standby die Transaktion erhalten hat, und die primäre Instanz darf nicht allein weiterarbeiten. Wenn kein Standby verfügbar ist, werden keine Schreibvorgänge akzeptiert: Der Modus opfert die Verfügbarkeit zugunsten der replizierten Dauerhaftigkeit. Ein Datenverlust kann bei einem Failover nicht auftreten, und Daten gehen auch dann nicht verloren, wenn der Speicher der primären Instanz gleichzeitig mit allen Standbys ausfällt.
Der Modus hat eine minimale Clustergröße. Es werden mindestens drei Instanzen benötigt, und mindestens zwei Knoten müssen betriebsbereit sein, um Schreibvorgänge zu akzeptieren. Bei drei Instanzen akzeptiert der Cluster Schreibvorgänge weiterhin, während ein Knoten ausgefallen ist; bei jedem weiteren ausgefallenen Knoten stoppt er die Schreibvorgänge, um einen Datenverlust zu vermeiden.
Die folgende Tabelle vergleicht die beiden Modi:
| Aspekt | Asynchron | Strikt synchron |
|---|---|---|
| Ausfall der primären Instanz | Ein Standby wird befördert, wenn der primäre Knoten nicht verfügbar wird. | Nur Standby-Knoten, die alle bestätigten Transaktionen enthalten, können befördert werden. |
| Ausfall eines Standbys | Keine Auswirkungen auf die primäre Instanz. Der Standby holt auf, sobald er wieder online ist. | Mindestens ein Standby muss verfügbar sein, um Schreibanfragen zu akzeptieren. Bei einem Wechsel des synchronen Standbys kommt es zu einer kurzen Verzögerung bei der Transaktionsverarbeitung. |
| Konsistenzmodell | Stark konsistent (außer bei verlorenen Daten). | Stark konsistent (außer bei verlorenen Daten). |
| Datenverlust bei Failover | Nicht replizierte Daten gehen verloren. | Nicht unterstützt. |
| Datenverlust bei Ausfall des primären Speichers | Nicht replizierte Daten gehen verloren. | Nicht unterstützt. |
| Latenz | Begrenzt durch die Leistung der primären Instanz. | Begrenzt durch die Leistung der primären Instanz, des strikt synchronen Standbys und der Latenz zwischen beiden (in der Regel unter 1 ms). |
Wie oben gezeigt, bedeutet „Nicht unterstützt" in den Zeilen zum Datenverlust, dass der Modus bei diesem Ereignis keine Daten verliert. Der Latenznachteil ist ein konstanter Overhead pro Commit, unabhängig von der Größe oder Dauer der Transaktion. Daher wiegt er am stärksten bei vielen kleinen Transaktionen.
1.4 MariaDB: Nur asynchron
DBaaS für MariaDB-Cluster betreibt 1 bis 5 Instanzen, und die Replikation zwischen den primären und sekundären Instanzen ist immer asynchron. Ein Failover befördert eine Replikate automatisch, und Daten, die nur auf der primären Instanz bestätigt wurden, können verloren gehen. Wenn eine Arbeitslast bei einem Failover keinen Datenverlust tolerieren darf, sollte sie auf PostgreSQL im strikt synchronen Modus betrieben werden; wenn sie auf MariaDB bleiben muss, sollte das RPO des Replikationsrückstands akzeptiert und der Schutz vor Speicherverlust durch Sicherungen sichergestellt werden.
2. Skalierung der Lesezugriffe ohne Lese-Replikate
2.1 Warum mehr Nodes nicht mehr Lesevorgänge bedeuten
In einem PostgreSQL-Cluster laufen die Standbys als Warm-Standbys, und Leseverbindungen zu ihnen sind nicht zulässig. Horizontales Skalieren bietet Hochverfügbarkeit; es erhöht nicht die Leistung. Gleiches gilt für MariaDB. Eine vierte oder fünfte Instanz schützt daher vor Ausfällen und erhöht die Kosten, aber der Primärknoten beantwortet weiterhin jede Abfrage.
Vertikales Skalieren erhöht die Kapazität. Wenn Sie Kerne oder RAM ändern, erstellt das System für jede Instanz einen neuen Knoten, ersetzt zuerst die Standbys und dann den Primärknoten, was einen Switchover zur Folge hat. Dieser Switchover beendet Verbindungen der Anwendung und bricht laufende Abfragen ab. Skalieren Sie daher außerhalb der Spitzenzeiten.
2.2 Die Verbindungsgrenze
Die Anzahl der Verbindungen leitet sich aus dem RAM ab:
| RAM-Größe | max_connections |
|---|---|
| 4GB | 384 |
| 5GB | 512 |
| 6GB | 640 |
| 7GB | 768 |
| 8GB | 896 |
| > 8GB | 1000 |
Die Plattform reserviert 11 davon für den internen Gebrauch. Oberhalb von 8 GB bleibt die Grenze bei 1000, sodass mehr RAM keine weiteren Verbindungen mehr ermöglicht. Eine horizontal skalierte Compute-Ebene (Einheit 4.3) vervielfacht Verbindungspools schnell: Zwanzig Replikate mit jeweils fünfzig Verbindungen erreichen bereits die Grenze.
2.3 Das native Muster: Pooler plus Cache
Lese-Skalierung setzt sich aus zwei Teilen zusammen (Einheit 1.3). Der verwaltete Verbindungspooler (pgbouncer) ermöglicht es vielen Client-Verbindungen, sich eine kleinere Anzahl von Datenbankverbindungen zu teilen. Sie wählen ihn pro Cluster aus:
- Transaction: Eine Verbindung wird für eine Transaktion zugewiesen und dem Pool zurückgegeben, wenn sie endet. Verwenden Sie diesen Modus für zustandslose Anfrageverarbeitung.
- Session: Eine Verbindung wird für die Client-Sitzung zugewiesen und über deren Transaktionen hinweg wiederverwendet. Verwenden Sie diesen Modus, wenn die Anwendung auf Sitzungsstatus angewiesen ist.
- Deaktiviert: Jede Anfrage öffnet ihre eigene Verbindung.
Der Pooler erhöht die Anzahl der Clients, die ein Cluster bedienen kann, nicht aber die Anzahl der Abfragen, die der Primärknoten beantworten kann. Um wiederholte Lesezugriffe vom Primärknoten zu nehmen, fügen Sie DBaaS for In-Memory DB als Cache davor ein (Einheit 5.5). Einheit 2.4 hat die Kosten verglichen: Eine kleine Cache-Instanz kostet weniger als das Skalieren jedes Knotens eines Drei-Knoten-Clusters.
3. Failover und Wiederherstellung über Standorte hinweg
3.1 Innerhalb des Clusters
Das Failover erfolgt automatisch. Wenn der primäre Knoten ausfällt, wird ein Standby-Knoten hochgestuft und das System provisioniert einen Ersatzknoten. Der neue Leader sendet ein gratuitous ARP-Paket, damit Clients ihn unter derselben Adresse erreichen. Offene TCP-Verbindungen werden jedoch zurückgesetzt, und bei einem geplanten Switchover schließt der Server diese Verbindungen. Clients müssen sich daher neu verbinden: Verwenden Sie ein exponentielles Back-off-Verfahren mit einem sofortigen ersten Wiederholungsversuch. Unkontrollierte Verbindungsabbrüche können auch während Wartungsarbeiten und Konfigurationsänderungen auftreten.
3.2 Zwischen Clustern und Standorten
Die Replikation läuft zwischen den Instanzen eines Clusters, und die Instanzen befinden sich im Standort des LAN des Clusters. Der Schutz eines Clusters gegen den Verlust seines Standorts ist daher dessen Sicherung. Sicherungen kombinieren eine tägliche Basis-Sicherung mit der kontinuierlichen Archivierung des Write-Ahead Log (WAL) und werden im von Ihnen als Sicherungsstandort gewählten Object Storage-Ort gespeichert. Wählen Sie für Offsite-Sicherungen einen Ort außerhalb der Region des Clusters. WAL-Dateien werden zunächst auf die lokale Festplatte archiviert und alle 5 Minuten in Object Storage hochgeladen. Erst dann stehen sie für die Wiederherstellung zu einem bestimmten Zeitpunkt (Point-in-Time Recovery, PITR) zur Verfügung. Die RPO bei einem Standortverlust ist daher der noch nicht hochgeladene WAL: höchstens etwa fünf Minuten.
Die Wiederherstellung nach einem Standortverlust besteht aus einem neuen Cluster, das aus einer Sicherung mit einem Wiederherstellungs-Zielzeitpunkt erstellt wird, gefolgt von einer DNS-Änderung. Ein Cloud DNS-Eintrag antwortet mit dem zuletzt geschriebenen Wert. Daher erkennt Ihr Monitoring, das außerhalb beider Standorte läuft, den Fehler und aktualisiert den Eintrag über die API (Einheit 3.7). Üben Sie den gesamten Ablauf, einschließlich der Zeit für die Erstellung und Befüllung des neuen Clusters, da diese Zeit Ihr Wiederherstellungs-Zielzeitraum ist.
3.3 Point-in-Time Recovery und seine Einschränkungen
Die Aufbewahrungsdauer der Sicherungen beträgt 1 bis 365 Tage, standardmäßig 7 Tage. Eine Wiederherstellung stellt die Daten bis zu, aber nicht einschließlich des Wiederherstellungs-Zielzeitpunkts wieder her. Eine In-Place-Wiederherstellung verwendet nur aktive Sicherungen dieses Clusters, und es kann nur eine Wiederherstellung gleichzeitig ausgeführt werden. Da das WAL-Shipping kontinuierlich mit der Arbeitslast Schritt hält, stoppen Sie die Arbeitsload vor einer Wiederherstellung, wenn das neue Cluster jede letzte Änderung enthalten muss. Ein Upgrade auf eine neue Hauptversion ist irreversibel und erstellt automatisch eine Sicherung. Erstellen Sie vor einem Upgrade ein Dump, wenn Sie einen Rückweg benötigen.
4. Privater Zugriff und Migration
4.1 Nur privater Endpunkt
DBaaS-Cluster verbinden sich ausschließlich mit privaten Netzwerken. Jeder Cluster wird einem LAN eines VDC mit einer privaten IP-Adresse zugeordnet, und Clients verbinden sich über den DNS-Namen des Clusters. Bestimmte Bereiche sind für den Dienst gesperrt: 10.208.0.0/12, 10.233.0.0/18, 192.168.230.0/24 und 10.233.64.0/18. Verwenden Sie die Cluster-Adresse aus dem Bereich .2 bis .9, den der Adressplan von Einheit 3.1 für verwaltete Dienste reserviert, damit keine Kollision mit einer per DHCP zugewiesenen VM auftreten kann. Jeder Client benötigt eine NIC im LAN des Clusters: FinCorp versieht jeden Portalserver mit einer zweiten NIC auf fc-data für seine Datenbankverbindungen.
Externer Zugriff ist eine bewusste Designentscheidung, keine Einstellung. Ein Network Load Balancer mit einer reservierten öffentlichen IP-Adresse und einer TCP-Weiterleitungsregel auf Port 5432 kann als Reverse-Proxy zur privaten Adresse des Clusters dienen. Für Administratoren ist das VPN aus Einheit 3.6 zu einem Verwaltungshost mit einer NIC auf fc-data die engere Option.
4.2 Dump und Restore
Daten werden mit den nativen Tools in einen verwalteten Cluster übertragen: pg_dump mit psql oder pg_restore, und mariadb-dump für MariaDB. Der anfängliche PostgreSQL-Benutzer verfügt über CREATEDB und CREATEROLE, aber über keine Superuser-Rechte, und Superuser-Zugriff ist nicht verfügbar, daher funktioniert pg_dumpall nicht. Ein Standard-Dump enthält GRANT-Anweisungen, aber keine Benutzerdefinitionen: Erstellen Sie die Benutzer und Gruppen zuerst auf dem Zielsystem, da sonst der Import fehlschlägt, wenn er Berechtigungen anwendet. Planen Sie den Wechsel als Schreibstopp: Schreibvorgänge stoppen, Dump erstellen, wiederherstellen, verifizieren, Anwendung umstellen.
Implementierungsanleitung für den Data Center Designer
Sie erstellen die Portal-Datenbank fc-pg-portal von FinCorp im privaten fc-data LAN von fc-prod-fra-core: drei Instanzen im Modus Strictly Synchronous, der Transaktions-Connection-Pooler, Sicherungen an einem externen Standort und ein festes Wartungsfenster. Damit wird die in Abschnitt 1.3 getroffene Entscheidung für einen Failover ohne Datenverlust sowie das Skalierungsmuster für Lesezugriffe aus Abschnitt 2.3 umgesetzt.
Voraussetzungen: das VDC fc-prod-fra-core mit dem fc-data LAN und mindestens einer VM darauf (Einheit 3.1); ein Konto mit dem Access and manage DBaaS-Privileg; die Adresse .2 auf fc-data, die für das Cluster reserviert ist.
Ziel der Erstellung: Erstellen eines mehrknotigen privaten Clusters mit Replikationsmodus, Wartungsfenster und Verbindungsdetails.
Schritte (im Data Center Designer):
- Gehen Sie zu Menü > Datenbanken > PostgreSQL und wählen Sie Cluster erstellen. Prüfen Sie den Bereich Ressourcenallokation anhand der Grenzen Ihres Vertrags.
- Geben Sie unter den Cluster-Eigenschaften den Cluster-Namen
fc-pg-portalein und wählen Sie den Standort Frankfurt. Der Standort kann nach der Erstellung nicht mehr geändert werden. - Wählen Sie in Cluster-Konfiguration die PostgreSQL-Version, geben Sie
3Instanzen ein und setzen Sie den Synchronisationsmodus auf Strictly Synchronous. - Setzen Sie Connection Pooler auf Transaction.
- Wählen Sie einen Sicherungsort außerhalb von Frankfurt und setzen Sie Sicherungsaufbewahrung (Tage) auf den Zeitraum, den das Risiko-Team von FinCorp vorgibt, zwischen 1 und 365.
- Setzen Sie in Instanz-Konfiguration die Anzahl der CPUs und die RAM-Größe pro Instanz; bei mehr als 8 GB RAM beträgt die Verbindungsgrenze 1000. Geben Sie eine Speichergröße von mindestens 100 GB ein, die für optimale Leistung empfohlene Größe, mit Puffer für WAL und Protokolle.
- Wählen Sie in Netzwerkkonfiguration
fc-prod-fra-coreals Virtuelles Rechenzentrum,fc-dataals VDC-LAN und die.2Adresse als Private IP. - Wählen Sie in Wartungszeitraum einen Tag und eine Startzeit (UTC) im Zeitraum mit dem geringsten Verkehr. Die Wartung wird in einem 4-Stunden-Fenster ausgeführt.
- Aktivieren Sie in Observability Logs aktivieren und Metriken aktivieren; sie werden wirksam, sobald die Observability-Dienste für den Vertrag aktiviert sind (Einheit 7.2).
- Geben Sie in Benutzererstellung den Benutzernamen, das Passwort und den Datenbanknamen ein. Speichern Sie das Passwort im Secret Store von FinCorp, nicht im Runbook.
- Wählen Sie Speichern. Der Status zeigt PROVISIONING und dann AVAILABLE. Kopieren Sie den DNS-Namen aus den Cluster-Details für die Anwendungskonfiguration.
Häufige Fehler:
- Planung von Strictly Synchronous mit weniger als drei Instanzen. Drei Instanzen sind das Minimum, und zwei Knoten müssen betriebsbereit sein, um Schreibzugriffe anzunehmen.
- Hinzufügen von Instanzen zur Behebung langsamer Lesezugriffe. Standbys bedienen keine Lesezugriffe; fügen Sie den Cache und den Pooler hinzu.
- Belassen des Sicherungsortes in der eigenen Region des Clusters. Ein Standortausfall würde dann auch die Sicherungen mit sich nehmen.
- Zuweisung einer Adresse aus dem DHCP-Bereich an die Datenbank. Verwenden Sie den Bereich .2 bis .9 des verwalteten Dienstes.
- Öffnen der Datenbank „vorübergehend" für das Internet über einen NLB. Verwenden Sie das VPN für Administratoren.
- Durchführung eines Major-Version-Upgrade ohne separaten Dump. Das Upgrade kann nicht rückgängig gemacht werden.
Zusammenfassung
Die relationale Ebene wird durch drei Zahlen bestimmt: das RPO eines Failovers, die Lese- und Verbindungskapazität einer Primärinstanz sowie das RPO und die Wiederherstellungszeit bei einem Standortverlust. Der Modus Strictly Synchronous mit mindestens drei Instanzen ermöglicht einen Failover ohne Datenverlust; der asynchrone Modus opfert Millisekunden möglichen Datenverlusts zugunsten einer geringeren Latenz. Standby-Instanzen erhöhen die Verfügbarkeit, nicht aber die Leseleistung, daher übernehmen der Pooler und der Cache das Skalieren der Lesezugriffe. Zwischen Standorten besteht die Wiederherstellung aus einem neuen Cluster aus Offsite-Sicherungen sowie einer DNS-Änderung, die Ihr Monitoring durchführt.
Wichtige Punkte:
- PostgreSQL bietet asynchrone (Standard) und Strictly Synchronous Replikation; MariaDB ist ausschließlich asynchron.
- Strictly Synchronous erfordert mindestens drei Instanzen und zwei aktive Knoten, um Schreibzugriffe anzunehmen.
- Standby-Instanzen akzeptieren keine Leseverbindungen; horizontale Skalierung erhöht die Leistung nicht.
max_connectionssteigt mit dem RAM bis zu 1000, wobei 11 reserviert sind; der verwaltete Pooler erweitert dies.- WAL erreicht Object Storage alle 5 Minuten; die Aufbewahrungsdauer der Sicherungen beträgt 1 bis 365 Tage.
- Cluster sind privat; die Migration verwendet
pg_dumpodermariadb-dump, niemalspg_dumpall.
Wichtige Begriffe:
- Recovery point objective (RPO): die Menge an commitierten Daten, die ein Ausfall verlieren kann, gemessen in Zeit.
- Warm standby: eine Replikate, die eine aktuelle Kopie für die Beförderung vorhält, aber keine Abfragen bearbeitet.
- Write-Ahead Log (WAL): das Änderungsprotokoll von PostgreSQL, das kontinuierlich archiviert wird, um eine Wiederherstellung zu einem bestimmten Zeitpunkt zu ermöglichen.