Unité 5.4 : Bases de données NoSQL (Managed MongoDB)
Introduction
Tous les jeux de données de FinCorp ne sont pas des tables. L'intégration des clients génère des dossiers dont la structure varie selon chaque produit et chaque liste de contrôle réglementaire. Les contraindre dans un schéma relationnel implique une migration pour chaque nouveau champ. Un magasin de documents conserve chaque dossier en tant que document unique et permet à sa structure d'évoluer.
Le service géré MongoDB prend deux décisions au moment de la création, difficiles à modifier ultérieurement : l'édition, qui définit la topologie, les options de récupération et la classe de matériel, ainsi que le placement dans le réseau privé. Cette unité aborde ces deux décisions et se termine par la construction du cluster de dossiers de FinCorp dans le DCD.
1. Documentaire ou relationnel, et quelle édition
1.1 Quand le modèle documentaire convient
Choisissez les documents lorsque les enregistrements sont lus et écrits dans leur ensemble, lorsque leur structure varie ou évolue, et lorsque les transactions entre enregistrements sont rares. Conservez les données dans un modèle relationnel lorsque l'intégrité s'étend à de nombreuses entités, telles que les comptes, les écritures et les soldes, et lorsque vous avez besoin de la bascule sans perte de données de la réplication Strictly Synchronous (Unité 5.3). La séparation de FinCorp suit cette ligne de partage : les paiements dans PostgreSQL, les dossiers de dossiers d'onboarding dans MongoDB, liés par un identifiant client.
Le modèle de lecture est également différent. Un serveur PostgreSQL en mode standby ne sert pas les lectures, tandis que MongoDB Enterprise permet à un ensemble de réplication de compter jusqu'à sept membres, un primaire et jusqu'à six secondaires. Si les lectures d'une charge de travail doivent s'échelonner à l'aide de copies des données, c'est un point en faveur de MongoDB.
1.2 Les trois éditions
IONOS CLOUD propose les éditions Playground, Business et Enterprise. Playground est un bac à sable temporaire avec une instance gratuite de 2 Go de RAM, 1 vCPU et 50 Go de stockage ; elle est supprimée automatiquement et n'est pas destinée à la production. Les deux éditions de production diffèrent comme suit :
| Point de décision | MongoDB Business | MongoDB Enterprise |
|---|---|---|
| Matériel | Cubes ; modèles prédéfinis | Dedicated Core Servers ; de 1 à 31 cœurs et jusqu'à 230 Go de RAM par instance |
| Topologie | Ensemble de réplication unique de 1 ou 3 instances | Ensemble de réplication de 1, 3, 5 ou 7 instances, ou un cluster sharded |
| Stockage | Taille du modèle | Jusqu'à 4 To par instance |
| Restauration à un instant donné | Non disponible | Disponible |
| BI Connector | Non disponible | Disponible |
L'accord de niveau de service dépend de la topologie : 99,95 % pour les clusters de trois membres ou plus et 99,9 % pour les plus petits, Playground étant exclu. Un cluster à instance unique représente donc un engagement moindre, mais aussi un point de défaillance unique.
1.3 Sharding et la limite d'écriture
Un ensemble de réplication possède un seul nœud primaire, de sorte que les écritures ne s'échelonner que verticalement. Un ensemble de réplication Enterprise atteint sa limite d'écriture à 30 000 IOPS d'écriture, pour une taille de volume de 600 Go ou plus. Un cluster sharded répartit les écritures sur un nœud primaire par shard, de sorte que la limite devient 30 000 multipliée par le nombre de shards. Le DCD crée de 2 à 32 shards, et l'API en permet davantage. Un cluster sharded ajoute trois instances de serveur de configuration avec 2 cœurs, 4 Go de RAM et 40 Go de stockage chacune, qui ne sont pas facturées. Passez au sharding lorsque le jeu de travail ne tient plus en RAM par nœud, lorsque les collections actives saturent les IOPS d'un nœud, ou lorsque le débit d'écriture doit s'échelonner horizontalement avec une bonne clé de shard.
1.4 Les connexions suivent la RAM
La RAM sélectionnée fixe une limite stricte sur les connexions simultanées, et le serveur rejette les nouvelles connexions au-delà de cette limite. Sur Enterprise, 2 Go autorisent 500 connexions, 8 Go autorisent 3 000, 16 Go autorisent 7 000 et 64 Go autorisent 31 000. Il n'y a pas de pool de connexions géré, il faut donc dimensionner la RAM pour le nombre de connexions de pointe de l'ensemble de la couche de calcul, y compris les répliques d'échelle horizontale (Unité 4.3).
2. Continuité : instantanés, PITR et dump
2.1 Ce que le service conserve
Les sauvegardes d'un cluster sont des instantanés : un au moment de la création, un après une restauration, un instantané de base toutes les 24 heures et un instantané complet chaque dimanche. Les instantanés sont conservés pendant sept jours, ce qui permet de remonter jusqu'à une semaine en arrière lors d'une récupération. Sur l'offre Enterprise, la récupération à un instant donné (point-in-time recovery) restaure l'état du système à un horodatage oplog choisi, situé entre 1 et 24 heures dans le passé. Vous pouvez restaurer à partir de n'importe quel instantané créé avec la même version de correctif MongoDB ou une version antérieure.
Une règle modifie le guide de suppression : si vous supprimez un cluster MongoDB, tous ses instantanés sont également supprimés. Un cluster qui pourrait être nécessaire à nouveau doit être dumpé avant sa suppression.
2.2 Déplacement des données : dump et restauration
Les données se déplacent entre les clusters, et vers le service, à l'aide de mongodump et mongorestore. Le plan de migration repose sur une gelée des écritures : arrêter les écritures vers l'ancien cluster, ce qui marque le début de l'indisponibilité ; effectuer le dump ; éventuellement copier le dump ; restaurer dans le nouveau cluster ; basculer l'application, ce qui marque la fin de l'indisponibilité. Les mêmes outils produisent des copies qui survivent à la fenêtre de sept jours : un mongodump planifié vers un bucket Object Storage verrouillé (Unité 5.2) offre à FinCorp la rétention exigée par son régulateur.
2.3 Accès privé et utilisateurs
Le cluster se connecte à un LAN privé d'un VDC, avec une adresse IP privée par instance, et les clients se connectent via une chaîne de connexion mongodb+srv depuis une VM sur ce réseau. Les utilisateurs sont gérés via le DCD ou l'API, et non depuis MongoDB ; tous les utilisateurs sont créés dans la base de données admin, et un cluster peut contenir jusqu'à 100 utilisateurs.
Déroulement de la mise en œuvre DCD
Vous allez créer le Cluster de dossiers de cas de FinCorp fc-mongo-cases : un ensemble de réplication Enterprise à trois membres sur le LAN privé fc-data, avec des sauvegardes hors site et un utilisateur d'application. Cela met en œuvre la décision d'édition de la section 1.2 et la conception de récupération de la section 2.
Prérequis : le VDC fc-prod-fra-core avec le LAN fc-data et au moins une VM dessus ; un compte disposant du privilège Access and manage DBaaS ; trois adresses de la plage de service managé de fc-data réservées pour le Cluster (FinCorp utilise .4 à .6 ; Unité 3.1).
Objectif de construction : Provisionner un Cluster et se connecter.
Étapes (dans Data Center Designer) :
- Accédez à Menu > Bases de données > MongoDB et sélectionnez Créer un Cluster.
- Dans Propriétés, saisissez le Nom du Cluster
fc-mongo-cases, choisissez l'Emplacement Francfort et sélectionnez la Version MongoDB. - Choisissez l'édition Enterprise.
- Dans Configuration du Cluster, définissez le Type de base de données sur Ensemble de réplication et le nombre d'Instances sur 3. Sélectionnez un Emplacement de sauvegarde hors de Francfort. Laissez Connecteur BI activé désactivé sauf si les analystes ont besoin d'un accès SQL.
- Dans Ressources, définissez le Nombre de CPU et la Taille de RAM par instance pour le nombre de connexions de pointe de la section 1.4. Sélectionnez SSD Premium comme Type de stockage et une Taille de stockage d'au moins 100 GB.
- Dans Configuration réseau, sélectionnez
fc-prod-fra-corecomme Centre de données etfc-datacomme LAN du centre de données, et saisissez une IP/Sous-réseau pour chacune des trois instances. - Dans Période de maintenance, définissez un Jour et une Heure de début (UTC). La maintenance s'exécute dans une fenêtre de 4 heures.
- Sélectionnez Enregistrer. Attendez que le Cluster soit disponible.
- Ouvrez le Cluster, accédez à l'onglet Gestion des utilisateurs et sélectionnez Ajouter un utilisateur. Saisissez le Nom d'utilisateur, le Mot de passe, un Rôle intégré tel que
readWrite, et le Nom de la base de données, puis sélectionnez Ajouter. - Depuis une VM sur
fc-data, connectez-vous avecmongoshet la chaîne de connexionmongodb+srvdu Cluster, puis authentifiez-vous en tant que nouvel utilisateur.
Erreurs courantes :
- Exécuter la production sur Business avec une seule instance. Il n'y a aucune redondance et le niveau de SLA est inférieur.
- Supprimer un Cluster pour « repartir de zéro ». Ses instantanés disparaissent avec lui ; effectuez d'abord un dump.
- Compter sur sept jours d'instantanés pour la rétention réglementaire. Ajoutez des dumps planifiés vers Object Storage.
- Dimensionner la RAM uniquement pour les données. La limite de connexions suit la RAM, et il n'y a pas de pooler managé.
- S'attendre à créer des utilisateurs avec des commandes MongoDB. Les utilisateurs sont gérés via DCD ou l'API.
Résumé
MongoDB convient aux dossiers de cas de FinCorp, car chaque cas est lu et écrit en tant que document unique en évolution. L'édition constitue la décision principale : Enterprise offre des cœurs dédiés, jusqu'à sept membres d'un ensemble de réplication, du sharding et une restauration à un instant donné ; Business propose des Cubes prédéfinis et un ensemble de réplication. La continuité repose sur sept jours de snapshots, sur la restauration à un instant donné pour Enterprise, et sur des dumps pour toute durée supérieure, en gardant à l'esprit que la suppression d'un cluster supprime ses snapshots.
Points clés :
- Business exécute un ensemble de réplication de 1 ou 3 instances sur Cubes ; Enterprise s'exécute sur des Dedicated Core Servers avec jusqu'à sept membres ou un cluster sharded.
- Le sharding multiplie le plafond d'écriture de 30 000 IOPS par le nombre de shards.
- Les connexions sont limitées par la RAM, sans pooler géré.
- Les snapshots sont conservés pendant sept jours ; la restauration à un instant donné couvre jusqu'à 24 heures sur Enterprise ; la destruction d'un cluster supprime ses snapshots.
- La migration et les copies à long terme utilisent
mongodumpetmongorestore.
Terminologie importante :
- Ensemble de réplication : un nœud primaire et ses membres secondaires qui conservent des copies des mêmes données.
- Shard : un ensemble de réplication au sein d'un cluster sharded, qui conserve une partie des données et traite une partie des écritures.
- Oplog : le journal des opérations de MongoDB, que la restauration à un instant donné rejoue jusqu'à un horodatage choisi.