16 min de lecture

Objectifs d'apprentissage

À la fin de ce module, vous serez en mesure de:

  • Choisir le mode de réplication d'un DBaaS pour un cluster PostgreSQL à partir d'un objectif de point de récupération donné, et dimensionner le cluster requis par ce mode
  • Expliquer pourquoi l'ajout de nœuds augmente la disponibilité mais pas la capacité de lecture, et concevoir la mise à l'échelle de la lecture à l'aide d'un cache et du pooler de connexions managé
  • Concevoir la bascule au sein d'un cluster et la récupération entre sites à partir de sauvegardes hors site et de la récupération à un instant donné
  • Planifier un accès uniquement privé et une migration par vidage et restauration dans le modèle de rôles de la plateforme
  • Créer un cluster PostgreSQL privé multi-nœuds avec son mode de réplication, son pooler, son emplacement de sauvegarde et sa fenêtre de maintenance dans Data Center Designer (DCD)

Unité 5.3 : Bases de données relationnelles (Managed PostgreSQL / MariaDB)

Introduction

La couche relationnelle est le lieu où sont stockés les comptes clients et les enregistrements de paiement de FinCorp, et où une mauvaise décision entraîne la perte de données plutôt que quelques minutes de service. Trois décisions dominent : le nombre de transactions confirmées qu'une bascule peut perdre, la source de la capacité de lecture lorsque les répliques ne gèrent pas les lectures, et la manière dont les données survivent à la perte d'un cluster entier.

Les moteurs managés répondent à chacune de ces questions d'une manière spécifique. DBaaS for PostgreSQL propose deux modes de réplication et promeut automatiquement une réplique ; DBaaS for MariaDB n'effectue que la réplication asynchrone. Par défaut, aucun des deux n'est accessible depuis Internet, et les données entrent et sortent par déchargement et restauration. Cette unité conçoit la couche autour de ces faits et se termine par la création de la base de données du portail de FinCorp dans le DCD.

1. Mode de réplication : décider de la perte potentielle lors d'une bascule

1.1 La structure du Cluster

Un cluster PostgreSQL comporte un nœud primaire et un ou plusieurs nœuds en attente qui exécutent une copie de la base de données active, de sorte qu'un cluster de n instances comporte n-1 nœuds en attente. Un cluster comporte au maximum cinq instances. Dans tous les modes, une transaction est d'abord validée sur le nœud leader, puis répliquée vers les nœuds en attente. Le mode détermine à quel moment le client reçoit sa confirmation.

1.2 Asynchrone (par défaut)

En mode asynchrone, le nœud primaire confirme une transaction après l'avoir écrite sur son propre disque et procède à la réplication en arrière-plan. L'avantage est une latence plus faible. Le coût est que les transactions récentes peuvent être perdues lorsqu'un nœud en attente est promu : les données non répliquées sont perdues lors d'une bascule. Le retard entre le nœud leader et le nœud en attente est généralement de quelques millisecondes, de sorte que l'objectif de point de récupération (RPO) d'une bascule est le retard de réplication au moment de la défaillance : généralement des millisecondes, mais sans garantie de limite. Surveillez pg_replication_lag ; pour les charges de travail critiques, déclenchez une alerte lorsqu'il dépasse 30 secondes.

1.3 Strictement synchrone

En mode Strictly Synchronous, une validation n'est confirmée qu'après qu'un nœud en attente synchrone l'a reçue, et le nœud primaire n'est pas autorisé à continuer seul. Si aucun nœud en attente n'est disponible, aucune écriture n'est acceptée : le mode sacrifie la disponibilité au profit de la durabilité répliquée. La perte de données ne peut pas se produire lors d'une bascule, et les données ne sont pas perdues même si le stockage du nœud primaire tombe en panne en même temps que tous les nœuds en attente.

Le mode impose une taille minimale de cluster. Il nécessite au moins trois instances, et au moins deux nœuds doivent être opérationnels pour accepter les écritures. Avec trois instances, le cluster continue d'accepter les écritures pendant qu'un nœud est hors ligne ; à chaque nœud supplémentaire perdu, il cesse d'écrire plutôt que de risquer une perte.

Le tableau suivant compare les deux modes :

Aspect Asynchrone Strictly Synchronous
Défaillance du nœud primaire Un nœud en attente sera promu si le nœud primaire devient indisponible. Seuls les nœuds en attente contenant toutes les transactions confirmées peuvent être promus.
Défaillance d'un nœud en attente Aucun effet sur le nœud primaire. Le nœud en attente rattrape son retard une fois de retour en ligne. Au moins un nœud en attente doit être disponible pour accepter les requêtes d'écriture. Il y a un court délai dans le traitement des transactions si le nœud en attente synchrone change.
Modèle de cohérence Fortement cohérent (à l'exception des données perdues.) Fortement cohérent (à l'exception des données perdues.)
Perte de données lors d'une bascule Les données non répliquées sont perdues. Non pris en charge.
Perte de données lors d'une défaillance du stockage du nœud primaire Les données non répliquées sont perdues. Non pris en charge.
Latence Limitée par la performance du nœud primaire. Limitée par la performance du nœud primaire, du nœud en attente strictement synchrone, et de la latence entre eux (généralement inférieure à 1 ms).

Comme indiqué ci-dessus, « Non pris en charge » dans les lignes de perte de données signifie que le mode ne perd pas de données lors de cet événement. La pénalité de latence est un surcoût constant par validation, indépendant de la taille ou de la durée de la transaction, de sorte qu'elle pèse le plus sur de nombreuses petites transactions.

1.4 MariaDB : uniquement asynchrone

Les clusters MariaDB de DBaaS fonctionnent avec 1 à 5 instances, et la réplication entre les instances primaire et secondaire est toujours asynchrone. Une bascule promeut automatiquement une réplique, et les données validées uniquement sur le nœud primaire peuvent être perdues. Si une charge de travail nécessite une perte de données nulle lors d'une bascule, elle doit utiliser PostgreSQL en mode Strictly Synchronous ; s'il doit rester sur MariaDB, acceptez le RPO basé sur le retard de réplication et protégez-vous contre la perte de stockage grâce aux sauvegardes.

2. Mise à l'échelle des lectures sans répliques de lecture

2.1 Pourquoi plus de Node ne signifie pas plus de lectures

Dans un cluster PostgreSQL, les serveurs secondaires fonctionnent en tant que serveurs secondaires chauds et les connexions de lecture vers eux ne sont pas autorisées. La mise à l'échelle horizontale fournit la haute disponibilité ; elle n'augmente pas les performances. Il en va de même pour MariaDB. Une quatrième ou cinquième instance protège donc contre les pannes et augmente les coûts, mais l'instance principale continue de traiter chaque requête.

La mise à l'échelle verticale augmente la capacité. Lorsque vous modifiez les cœurs de processeur ou la RAM, le système crée un nouveau Node pour chaque instance, remplace d'abord les serveurs secondaires, puis l'instance principale, ce qui entraîne une bascule. Cette bascule met fin aux connexions des applications et interrompt les requêtes en cours, il est donc recommandé d'effectuer la mise à l'échelle en dehors des heures de pointe.

2.2 La limite de connexions

Le nombre de connexions est dérivé de la RAM :

Taille de RAM max_connections
4GB 384
5GB 512
6GB 640
7GB 768
8GB 896
> 8GB 1000

La plateforme réserve 11 de ces connexions pour un usage interne. Au-delà de 8 Go, la limite reste fixée à 1000, de sorte qu'une augmentation de la RAM n'apporte plus de connexions supplémentaires. Un niveau de calcul mis à l'échelle horizontalement (Unité 4.3) multiplie rapidement les pools de connexions : vingt répliques avec cinquante connexions chacune atteignent déjà la limite.

2.3 Le modèle natif : Pooler plus cache

La mise à l'échelle des lectures est composée de deux éléments (Unité 1.3). Le pooler de connexions géré (pgbouncer) permet à de nombreuses connexions clients de partager un nombre réduit de connexions à la base de données. Vous le sélectionnez par cluster :

  • Transaction : une connexion est attribuée pour une seule transaction et rendue au pool à sa fin. Utilisez-la pour le traitement de requêtes sans état.
  • Session : une connexion est attribuée pour la session du client et réutilisée au cours de ses transactions. Utilisez-la lorsque l'application dépend de l'état de la session.
  • Désactivé : chaque requête ouvre sa propre connexion.

Le pooler augmente le nombre de clients qu'un cluster peut servir, et non le nombre de requêtes que l'instance principale peut traiter. Pour soulager l'instance principale des lectures répétées, ajoutez DBaaS pour In-Memory DB en tant que cache devant celle-ci (Unité 5.5). L'Unité 2.4 a comparé les coûts : une petite instance de cache coûte moins cher que la mise à l'échelle de chaque Node d'un cluster à trois Node.

3. Reprise d'activité et récupération entre sites

3.1 À l'intérieur du Cluster

La reprise d'activité est automatique. Lorsque le nœud principal tombe en panne, un nœud en attente est promu et le système provisionne un nœud de remplacement. Le nouveau chef envoie un paquet ARP gratuit afin que les clients l'atteignent à la même adresse, mais les connexions TCP ouvertes sont réinitialisées, et lors d'un basculement planifié, le serveur les ferme. Les clients doivent donc se reconnecter : utilisez une nouvelle tentative avec un délai exponentiel, en commençant par une nouvelle tentative immédiate. Des déconnexions non contrôlées peuvent également se produire lors des opérations de maintenance et des modifications de configuration.

3.2 Entre les clusters et les sites

La réplication s'effectue entre les instances d'un même cluster, et les instances sont situées dans l'emplacement du LAN du cluster. La protection d'un cluster contre la perte de son site est donc sa sauvegarde. Les sauvegardes combinent une sauvegarde de base quotidienne avec l'archivage continu du journal d'avance (Write-Ahead Log, WAL), et sont stockées dans l'emplacement Object Storage que vous choisissez comme emplacement de sauvegarde ; choisissez un emplacement situé en dehors de la région du cluster pour les sauvegardes hors site. Les fichiers WAL sont d'abord archivés sur le disque local, puis téléversés vers Object Storage toutes les 5 minutes, et ce n'est qu'ensuite qu'ils deviennent disponibles pour la récupération à un instant donné (PITR). Le RPO en cas de perte d'un site est donc le WAL non encore téléversé : jusqu'à environ cinq minutes.

La récupération après perte d'un site consiste à créer un nouveau cluster à partir d'une sauvegarde avec une heure cible de récupération, suivie d'une modification DNS. Un enregistrement Cloud DNS répond avec la dernière valeur qui y a été écrite, de sorte que votre surveillance, exécutée en dehors des deux sites, détecte la défaillance et met à jour l'enregistrement via l'API (Unité 3.7). Répétez l'ensemble du parcours, y compris le temps nécessaire pour créer et alimenter le nouveau cluster, car ce temps constitue votre objectif de temps de récupération.

3.3 Récupération à un instant donné et ses contraintes

La rétention des sauvegardes est de 1 à 365 jours, avec une valeur par défaut de 7 jours. Une restauration amène les données jusqu'à, mais sans inclure, l'heure cible de récupération. Une restauration sur place n'utilise que les sauvegardes actives de ce cluster, et seule une restauration peut s'exécuter à la fois. Étant donné que l'envoi du WAL rattrape continuellement la charge de travail, arrêtez la charge de travail avant une récupération si le nouveau cluster doit conserver chaque dernière modification. Une mise à niveau majeure de version est irréversible et crée automatiquement une sauvegarde ; effectuez un dump avant la mise à niveau si vous avez besoin d'une possibilité de retour en arrière.

4. Accès privé et migration

4.1 Point de terminaison privé uniquement

Les clusters DBaaS se connectent uniquement aux réseaux privés. Chaque cluster est rattaché à un LAN d'un VDC avec une adresse IP privée, et les clients se connectent via le nom DNS du cluster. Certaines plages sont bloquées pour le service : 10.208.0.0/12, 10.233.0.0/18, 192.168.230.0/24 et 10.233.64.0/18. Prenez l'adresse du cluster à partir de la plage .2 à .9 que le plan d'adressage de l'Unité 3.1 réserve pour les services gérés, afin qu'elle ne puisse pas entrer en collision avec une VM attribuée par DHCP. Chaque client a besoin d'une carte réseau sur le LAN du cluster : FinCorp attribue à chaque serveur de portail une deuxième carte réseau sur fc-data pour ses connexions à la base de données.

L'accès externe est un choix de conception délibéré, et non un paramètre. Un Load Balancer réseau avec une IP publique réservée et une règle de transfert TCP sur le port 5432 peut agir comme un proxy inverse vers l'adresse privée du cluster. Pour les administrateurs, le VPN de l'Unité 3.6 vers un hôte de gestion avec une carte réseau sur fc-data est l'option la plus restreinte.

4.2 Sauvegarde et restauration

Les données sont transférées vers un cluster géré à l'aide des outils natifs : pg_dump avec psql ou pg_restore, et mariadb-dump pour MariaDB. L'utilisateur PostgreSQL initial dispose des privilèges CREATEDB et CREATEROLE, mais pas des droits superutilisateur, et l'accès superutilisateur n'est pas disponible, de sorte que pg_dumpall ne fonctionne pas. Une sauvegarde standard inclut les déclarations GRANT, mais pas les définitions d'utilisateurs : créez d'abord les utilisateurs et les groupes sur la cible, sinon l'importation échouera lors de l'application des autorisations. Planifiez la bascule comme une gelée des écritures : arrêtez les écritures, effectuez la sauvegarde, restaurez, vérifiez, puis basculez l'application.

Déroulement de la mise en œuvre de DCD

Vous allez créer la base de données du portail de FinCorp fc-pg-portal sur le LAN privé fc-data de fc-prod-fra-core : trois instances en mode Strictly Synchronous, le pool de transactions, des sauvegardes hors site et une fenêtre de maintenance fixe. Cela met en œuvre la décision de basculement sans perte de données de la section 1.3 et le schéma de mise à l'échelle en lecture de la section 2.3.

Prérequis : le centre de données virtuel fc-prod-fra-core avec le LAN fc-data et au moins une VM dessus (Unité 3.1) ; un compte disposant du privilège Access and manage DBaaS ; l'adresse .2 sur fc-data réservée pour le cluster.

Objectif de construction : Construire un cluster privé multi-nœuds avec mode de réplication, fenêtre de maintenance et détails de connexion.

Étapes (dans Data Center Designer) :

  1. Accédez à Menu > Bases de données > PostgreSQL et sélectionnez Créer un cluster. Vérifiez la section Resource allocation par rapport aux limites de votre contrat.
  2. Sous les propriétés du cluster, saisissez le Cluster Name fc-pg-portal et sélectionnez l'emplacement Location de Francfort. L'emplacement ne peut pas être modifié après la création.
  3. Dans Cluster configuration, sélectionnez la PostgreSQL Version, saisissez 3 Instances et définissez le Synchronization mode sur Strictly Synchronous.
  4. Définissez le Connection Pooler sur Transaction.
  5. Sélectionnez un Backup Location en dehors de Francfort et définissez la Backup retention (days) sur la période exigée par le bureau des risques de FinCorp, entre 1 et 365 jours.
  6. Dans Instance configuration, définissez le Number of CPUs et la RAM Size par instance ; au-delà de 8 Go de RAM, la limite de connexions est de 1000. Saisissez une Storage Size d'au moins 100 Go, la taille recommandée pour une performance optimale, avec une marge pour les WAL et les journaux.
  7. Dans Network configuration, sélectionnez fc-prod-fra-core comme Virtual Data Center, fc-data comme VDC LAN et l'adresse .2 comme Private IP.
  8. Dans Maintenance period, sélectionnez un Day et une Start Time (UTC) pendant la période de trafic la plus faible. La maintenance s'effectue dans une fenêtre de 4 heures.
  9. Dans Observability, activez Enable logs et Enable metrics ; ils prennent effet une fois les services d'observabilité activés pour le contrat (Unité 7.2).
  10. Dans User Creation, saisissez le Username, le Password et le Database Name. Stockez le mot de passe dans le coffre de secrets de FinCorp, et non dans le runbook.
  11. Sélectionnez Save. L'état affiche PROVISIONING puis AVAILABLE. Copiez le DNS Name depuis les détails du cluster pour la configuration de l'application.

Erreurs courantes :

  • Prévoir Strictly Synchronous sur moins de trois instances. Trois instances est le minimum, et deux nœuds doivent être opérationnels pour accepter les écritures.
  • Ajouter des instances pour corriger des lectures lentes. Les standby ne servent pas les lectures ; ajoutez le cache et le pooler.
  • Garder l'emplacement de sauvegarde dans la région du cluster. Une perte de site entraînerait alors la perte des sauvegardes.
  • Donner à la base de données une adresse de la plage DHCP. Utilisez la plage du service managé, de .2 à .9.
  • Ouvrir la base de données à Internet « temporairement » via un NLB. Utilisez le VPN pour les administrateurs.
  • Effectuer une mise à niveau majeure sans dump séparé. La mise à niveau ne peut pas être annulée.

Résumé

La couche relationnelle est déterminée par trois chiffres : le RPO d'une bascule, la capacité de lecture et de connexion d'un nœud principal, et le RPO et le temps de récupération en cas de perte d'un site. Le mode Strictly Synchronous avec au moins trois instances permet une bascule sans perte de données ; le mode asynchrone échange quelques millisecondes de perte potentielle contre une latence plus faible. Les répliques de secours ajoutent de la disponibilité, mais pas des lectures, de sorte que le pooler et le cache assurent la mise à l'échelle des lectures. D'un site à l'autre, la récupération consiste à créer un nouveau cluster à partir de sauvegardes hors site et à effectuer une modification de DNS que votre surveillance rend possible.

Points clés :

  • PostgreSQL propose la réplication Asynchronous (par défaut) et Strictly Synchronous ; MariaDB est uniquement asynchrone.
  • Strictly Synchronous nécessite au moins trois instances et deux nœuds opérationnels pour accepter les écritures.
  • Les répliques de secours n'acceptent pas les connexions de lecture ; la mise à l'échelle horizontale n'augmente pas les performances.
  • max_connections suit la RAM jusqu'à 1000, avec 11 réservées ; le pooler géré l'étend.
  • Le WAL atteint Object Storage toutes les 5 minutes ; la rétention des sauvegardes est de 1 à 365 jours.
  • Les clusters sont privés ; la migration utilise pg_dump ou mariadb-dump, jamais pg_dumpall.

Terminologie importante :

  • Recovery point objective (RPO) : la quantité de données validées qu'une défaillance peut perdre, mesurée en temps.
  • Réplique de secours chaude : une réplique qui conserve une copie à jour pour promotion, mais qui ne sert pas les requêtes.
  • Write-Ahead Log (WAL) : le journal des modifications de PostgreSQL, archivé en continu pour permettre la récupération à un instant donné.