Einheit 5.4: NoSQL-Datenbanken (Managed MongoDB)
Einführung
Nicht jeder Datensatz von FinCorp ist eine Tabelle. Das Kunden-Onboarding erzeugt Aktenordner, deren Struktur sich mit jedem Produkt und jeder Prüfliste der Aufsichtsbehörden ändert. Die Zwangsumwandlung in ein relationales Schema erfordert für jedes neue Feld eine Migration. Ein Dokumenten-Speicher hält jede Akte als ein Dokument und ermöglicht es der Struktur, sich weiterzuentwickeln.
Der verwaltete MongoDB-Dienst trifft bei der Erstellung zwei Entscheidungen, die sich später nur schwer ändern lassen: die Edition, die die Topologie, die Wiederherstellungsoptionen und die Hardware-Klasse festlegt, sowie die Platzierung im privaten Netzwerk. In dieser Einheit werden beide Entscheidungen getroffen und am Ende wird der Aktenordner-Cluster von FinCorp im DCD aufgebaut.
1. Dokumentenbasiert oder relational, und welche Edition
1.1 Wann das Dokumentenmodell passt
Wählen Sie Dokumente, wenn Datensätze als Ganzes gelesen und geschrieben werden, wenn ihre Struktur variiert oder wächst und wenn Transaktionen über mehrere Datensätze hinweg selten sind. Halten Sie Daten relational, wenn die Integrität über viele Entitäten hinweg sichergestellt werden muss, wie bei Konten, Buchungen und Salden, und wenn Sie den verlustfreien Failover der Strictly Synchronous Replikation (Einheit 5.3) benötigen. Die Aufteilung bei FinCorp folgt dieser Linie: Zahlungen in PostgreSQL, Onboarding-Akten in MongoDB, verknüpft über eine Kundenkennung.
Das Lese-Modell unterscheidet sich ebenfalls. Ein PostgreSQL-Standby-Server verarbeitet keine Leseanfragen, während MongoDB Enterprise ein Replikat-Set auf sieben Mitglieder wachsen lässt, ein primäres und bis zu sechs sekundäre. Wenn die Leseanfragen einer Arbeitslast mit Kopien der Daten horizontal skalieren müssen, spricht das für MongoDB.
1.2 Die drei Editionen
IONOS CLOUD bietet die Editionen Playground, Business und Enterprise. Playground ist eine temporäre Sandbox mit einer kostenlosen Instanz von 2 GB RAM, 1 vCPU und 50 GB Speicher; sie wird automatisch gelöscht und ist nicht für den Produktivbetrieb vorgesehen. Die beiden Produktionseditionen unterscheiden sich wie folgt:
| Entscheidungsgrundlage | MongoDB Business | MongoDB Enterprise |
|---|---|---|
| Hardware | Cubes; vordefinierte Vorlagen | Dedicated Core Servers; 1 bis 31 Kerne und bis zu 230 GB RAM pro Instanz |
| Topologie | Einzelnes Replikat-Set mit 1 oder 3 Instanzen | Replikat-Set mit 1, 3, 5 oder 7 Instanzen, oder ein sharded Cluster |
| Speicher | Größe der Vorlage | Bis zu 4 TB pro Instanz |
| Point-in-time recovery | Nicht verfügbar | Verfügbar |
| BI Connector | Nicht verfügbar | Verfügbar |
Die Service-Level-Vereinbarung hängt von der Topologie ab: 99,95 % für Cluster mit drei oder mehr Mitgliedern und 99,9 % für kleinere, wobei Playground ausgenommen ist. Ein Cluster mit einer einzelnen Instanz ist daher sowohl ein geringeres Engagement als auch ein einzelner Ausfallpunkt.
1.3 Sharding und die Schreibgrenze
Ein Replikat-Set hat ein Primärmitglied, daher skalieren Schreibvorgänge nur vertikal. Ein Enterprise-Replikat-Set erreicht seine Schreibgrenze bei 30.000 Schreib-IOPS, bei einer Volumengröße von 600 GB oder mehr. Ein sharded Cluster verteilt Schreibvorgänge auf ein Primärmitglied pro Shard, sodass die Grenze 30.000 multipliziert mit der Anzahl der Shards beträgt. Der DCD erstellt 2 bis 32 Shards, und die API erlaubt mehr. Ein sharded Cluster fügt drei Config-Server-Instanzen mit 2 Kernen, 4 GB RAM und 40 GB Speicher hinzu, die nicht abgerechnet werden. Wechseln Sie zu Sharding, wenn der Arbeitssatz nicht mehr in den RAM pro Knoten passt, wenn heiße Sammlungen die IOPS eines Knotens auslasten oder wenn der Schreibdurchsatz horizontal mit einem guten Shard-Schlüssel skalieren muss.
1.4 Verbindungen folgen dem RAM
Der ausgewählte RAM setzt eine harte Grenze für gleichzeitige Verbindungen, und der Server lehnt neue Verbindungen darüber ab. Bei Enterprise erlaubt 2 GB 500 Verbindungen, 8 GB erlaubt 3.000, 16 GB erlaubt 7.000 und 64 GB erlaubt 31.000. Es gibt keinen verwalteten Verbindungspooler, daher dimensionieren Sie den RAM für die Spitzenverbindungszahl der gesamten Compute-Ebene, einschließlich horizontal skalierender Replikate (Einheit 4.3).
2. Kontinuität: Snapshots, PITR und Dump
2.1 Was der Dienst speichert
Die Sicherungen eines Clusters sind Snapshots: einer bei der Erstellung, einer nach einer Wiederherstellung, ein Basis-Snapshot alle 24 Stunden und ein vollständiger Snapshot jeden Sonntag. Snapshots werden sieben Tage aufbewahrt, sodass die Wiederherstellung bis zu eine Woche in die Vergangenheit zurückreicht. In Enterprise ermöglicht die zeitpunktgenaue Wiederherstellung (point-in-time recovery) die Wiederherstellung zu einem gewählten Oplog-Zeitstempel, der zwischen 1 und 24 Stunden in der Vergangenheit liegt. Sie können von jedem Snapshot wiederherstellen, der mit derselben oder einer älteren MongoDB-Patchversion erstellt wurde.
Eine Regel ändert das Lösch-Runbook: Wenn Sie einen MongoDB-Cluster zerstören, werden auch alle seine Snapshots gelöscht. Ein Cluster, das möglicherweise erneut benötigt wird, muss vor der Löschung gedumpt werden.
2.2 Daten bewegen: Dump und Restore
Daten werden zwischen Clustern und in den Dienst hinein mit mongodump und mongorestore verschoben. Der Migrationsplan ist ein Schreibstopp: Schreiben auf den alten Cluster stoppen, was die Ausfallzeit einleitet; dumpen; optional den Dump kopieren; in den neuen Cluster wiederherstellen; die Anwendung umschalten, was die Ausfallzeit beendet. Die gleichen Tools erzeugen Kopien, die die Sieben-Tage-Frist überdauern: ein geplanter mongodump in einen gesperrten Object Storage-Bucket (Einheit 5.2) gibt FinCorp die Aufbewahrung, die ihr Regulierer verlangt.
2.3 Privater Zugriff und Benutzer
Der Cluster verbindet sich mit einem privaten LAN eines VDC, mit einer privaten IP-Adresse pro Instanz, und Clients verbinden sich über eine mongodb+srv-Verbindungszeichenfolge von einer VM in diesem Netzwerk. Benutzer werden über den DCD oder die API verwaltet, nicht von innerhalb MongoDB; alle Benutzer werden in der admin-Datenbank erstellt, und ein Cluster hält bis zu 100 Benutzer.
DCD-Implementierungsanleitung
Sie erstellen den Aktencluster fc-mongo-cases von FinCorp: ein dreiköpfiges Enterprise-Replikat auf dem privaten fc-data LAN, mit externen Sicherungen und einem Anwendungsnutzer. Damit wird die Editionsentscheidung aus Abschnitt 1.2 und das Wiederherstellungsdesign aus Abschnitt 2 umgesetzt.
Voraussetzungen: das VDC fc-prod-fra-core mit dem fc-data LAN und mindestens einer VM darauf; ein Konto mit dem Access and manage DBaaS-Recht; drei Adressen aus dem verwalteten Bereich von fc-data, die für den Cluster reserviert sind (FinCorp verwendet .4 bis .6; Einheit 3.1).
Ziel: Einen Cluster bereitstellen und verbinden.
Schritte (im Data Center Designer):
- Gehen Sie zu Menu > Databases > MongoDB und wählen Sie Create cluster.
- Geben Sie in Properties den Cluster Name
fc-mongo-casesein, wählen Sie den Location Frankfurt und die MongoDB Version. - Wählen Sie die Enterprise-Edition.
- Setzen Sie in Cluster configuration Database type auf Replica Set und Instances auf 3. Wählen Sie einen Backup Location außerhalb von Frankfurt. Lassen Sie BI Connector enabled deaktiviert, es sei denn, Analysten benötigen SQL-Zugriff.
- Setzen Sie in Resources die Number of CPUs und die RAM Size pro Instanz entsprechend der Spitzenverbindungszahl aus Abschnitt 1.4. Wählen Sie SSD Premium als Storage Type und eine Storage Size von mindestens 100 GB.
- Wählen Sie in Network configuration
fc-prod-fra-coreals Datacenter undfc-dataals Datacenter LAN und geben Sie für jede der drei Instanzen eine IP/Subnet ein. - Setzen Sie in Maintenance period einen Day und eine Start Time (UTC). Die Wartung erfolgt in einem Zeitfenster von 4 Stunden.
- Wählen Sie Save. Warten Sie, bis der Cluster verfügbar ist.
- Öffnen Sie den Cluster, gehen Sie zum Tab User management und wählen Sie Add user. Geben Sie den User name, das Password, eine eingebaute Role wie
readWriteund den Database name ein und wählen Sie dann Add. - Verbinden Sie sich von einer VM auf
fc-datamitmongoshund dermongodb+srv-Verbindungszeichenfolge des Clusters und authentifizieren Sie sich als der neue Benutzer.
Häufige Fehler:
- Produktion auf Business mit einer Instanz betreiben. Es gibt keine Redundanz und die niedrigere SLA-Stufe.
- Einen Cluster löschen, um „sauber zu starten“. Die Snapshots gehen damit verloren; erst ein Dump erstellen.
- Sich auf sieben Tage Snapshots für die regulatorische Aufbewahrung verlassen. Geplante Dumps in Object Storage hinzufügen.
- RAM nur für die Daten dimensionieren. Das Verbindungslimit hängt vom RAM ab, und es gibt keinen verwalteten Pooler.
- Die Erwartung, Benutzer mit MongoDB-Befehlen zu erstellen. Benutzer werden über den DCD oder die API verwaltet.
Zusammenfassung
MongoDB eignet sich für die Akten von FinCorp, da jeder Einzelfall als ein sich entwickelndes Dokument gelesen und geschrieben wird. Die Edition ist die zentrale Entscheidung: Enterprise bietet dedizierte Kerne, bis zu sieben Mitglieder eines Replica Sets, Sharding und Point-in-Time-Recovery; Business bietet vordefinierte Cubes und ein Replica Set. Die Kontinuität stützt sich auf sieben Tage an Snapshots, PITR bei Enterprise und Dumps für längere Zeiträume, wobei zu beachten ist, dass die Löschung eines Clusters auch die zugehörigen Snapshots löscht.
Wichtige Punkte:
- Business betreibt ein Replica Set mit 1 oder 3 Instanzen auf Cubes; Enterprise läuft auf Dedicated Core Servers mit bis zu sieben Mitgliedern oder einem geshardeten Cluster.
- Sharding multipliziert die Schreibgrenze von 30.000 IOPS mit der Anzahl der Shards.
- Verbindungen sind durch den RAM begrenzt, ohne verwalteten Pooler.
- Snapshots werden sieben Tage aufbewahrt; PITR deckt bei Enterprise bis zu 24 Stunden ab; die Zerstörung eines Clusters löscht dessen Snapshots.
- Migration und langfristige Kopien verwenden
mongodumpundmongorestore.
Wichtige Begriffe:
- Replica set: ein Primärknoten und seine Sekundärmitglieder, die Kopien derselben Daten halten.
- Shard: ein Replica Set in einem geshardeten Cluster, das einen Teil der Daten hält und einen Teil der Schreibvorgänge übernimmt.
- Oplog: das Operationsprotokoll von MongoDB, das Point-in-Time-Recovery bis zu einem gewählten Zeitstempel wiedergibt.