Unité 7.1 : Résilience et continuité d'activité
Introduction
Le module 3 a construit les couches de pilotage : vérifications d'état de l'équilibreur de charge, groupes de basculement IP et enregistrement Cloud DNS que votre système de surveillance réécrit (unités 3.3 à 3.7). Le module 5 a construit les copies : récupération à un instant donné, emplacements de sauvegarde hors site, instantanés et archive verrouillée (unités 5.3 et 5.7). Aucune de ces deux parties ne constitue à elle seule une conception de récupération. Un enregistrement qui pointe vers Berlin avant que Berlin ait les données est une interruption de service avec une nouvelle adresse.
Cette unité réunit les deux parties. Elle part des objectifs fixés par l'entreprise, choisit une stratégie pour chaque charge de travail, place les éléments redondants de manière à ce qu'une défaillance ne puisse pas affecter les deux, et se termine par la construction et les exercices de basculement inter-sites que le bureau des risques de FinCorp approuve.
1. Objectifs et stratégies
1.1 Le RTO et le RPO relèvent de la direction
L'objectif de temps de récupération (RTO) est la durée maximale d'interruption qu'un service peut connaître. L'objectif de point de récupération (RPO) est la quantité maximale de données que l'entreprise peut perdre. Les deux sont des décisions de gestion : l'architecte les évalue en termes de coût, le responsable métier les choisit, et la conception doit ensuite les prouver lors d'un exercice. Une cible qui n'a jamais été testée est un espoir, pas un objectif.
Sur cette plateforme, chaque mécanisme contribue à ces chiffres par une part connue, et la conception les additionne :
- RPO : il provient du plan de données. Le DBaaS strictement synchrone pour PostgreSQL ne perd aucune transaction confirmée lors d'une bascule intra-cluster, tandis qu'une perte de site entraîne la perte du WAL non encore téléversé vers l'emplacement de sauvegarde, soit jusqu'à environ cinq minutes (Unité 5.3).
- RTO : il comprend la détection, plus le temps nécessaire pour rendre les données disponibles sur l'autre site, plus le temps que les clients mettent à suivre. Les clients suivent un enregistrement Cloud DNS dans le délai d'un TTL, et le TTL minimal est de 60 secondes (Unité 3.7).
1.2 Trois stratégies basées sur les primitives de la plateforme
Chaque stratégie réduit le RTO au prix d'un coût fixe plus élevé. FinCorp choisit par charge de travail, et non par entreprise.
| Stratégie | Ce qui est en place sur le site de récupération avant l'incident | Mécanisme de récupération | Profil du RTO | Coût fixe |
|---|---|---|---|---|
| Sauvegarde et restauration | Rien ; un plan réseau et le mode opératoire | Backup Service restaure, un nouveau cluster DBaaS à partir d'une sauvegarde hors site, des serveurs reconstruits à partir d'images téléversées sur l'emplacement de récupération | Heures : tout est provisionné pendant l'incident | Sauvegardes et stockage uniquement |
| Pilot light | VDC, LAN, adresses IP réservées, ALB, enregistrements DNS et images ; serveurs arrêtés dans le DCD | Démarrer les serveurs, créer la base de données à partir de la sauvegarde, réécrire l'enregistrement DNS | Détection plus restauration de la base de données plus un TTL | Réseau et stockage ; la facturation CPU et RAM des serveurs arrêtés est suspendue |
| Actif-actif (couches sans état) | Couches sans état complètes sur les deux sites, chacune traitant sa part du trafic | Le site survivant prend les noms du site défaillant ; la couche de données bascule comme en pilot light | Minutes pour les couches sans état | Deux couches de calcul complètes |
Trois faits de la plateforme façonnent le tableau. Un serveur arrêté via le DCD a ses ressources désallouées et sa facturation suspendue, tandis qu'une extinction à l'intérieur du système d'exploitation le laisse facturé ; l'arrêt libère également une adresse IP attribuée dynamiquement, de sorte que toute adresse dont le site de récupération dépend doit être réservée. Les images et instantanés téléversés sont liés à leur région, le site de Berlin a donc besoin de ses propres copies. Et la réplication DBaaS s'effectue entre les instances d'un même cluster, à l'intérieur d'un même emplacement (Unité 5.3), de sorte qu'aucune stratégie ici ne fournit une seconde base de données inscriptible dans l'autre région. « Actif-actif » sur cette plateforme signifie donc des couches sans état en actif-actif au-dessus d'une couche de données à écriture unique.
L'attribution de FinCorp est la suivante :
| Charge de travail | RTO / RPO (fixés par la direction) | Stratégie |
|---|---|---|
| Portail client et API partenaire | 1 heure / 5 minutes | Pilot light dans fc-prod-txl-dr |
Gestion des dossiers sur fc-mongo-cases |
8 heures / 24 heures | Sauvegarde et restauration à partir de dumps |
| Rapports internes | 2 jours / 24 heures | Sauvegarde et restauration |
2. Placement au sein d'un site
2.1 Les zones sont des ressources physiques distinctes
À l'intérieur d'un centre de données, les zones de disponibilité séparent les domaines de défaillance. Un serveur ou un dispositif de stockage affecté à la zone 1 repose sur une ressource physique différente de celui affecté à la zone 2. Les serveurs proposent les options Zone 1, Zone 2 et Auto (par défaut, le système affecte une zone lors de la provision). Block Storage ajoute la zone 3, qui n'a pas d'équivalent côté calcul (Unité 5.1).
Les deux couches se comportent différemment après la provision. La zone d'un serveur peut être modifiée ultérieurement dans le panneau Inspector ; la zone d'un volume est fixée lors de la première provision, et son déplacement nécessite une capture instantanée et un nouveau volume. Une paire redondante dont les serveurs sont situés dans la zone 1 et la zone 2, mais dont les volumes partagent une même zone, n'a pas éliminé son point de défaillance commun.
2.2 Le piège de la zone Auto
Auto laisse le système effectuer l'affectation au moment de la provision. Pour un serveur unique, cela est sans danger. Pour une paire redondante, cela signifie que la séparation n'est pas une décision enregistrée, et personne ne peut démontrer à un auditeur que les deux membres ne partagent pas une ressource physique. La règle est simple : chaque membre d'une paire redondante reçoit une zone explicite, et ses volumes reçoivent la même zone que leur serveur.
Cette règle s'applique partout où vous choisissez la zone : serveurs de portail et de données, membres de basculement IP (Unité 3.5), et pools de nœuds Kubernetes, où la zone fait partie du modèle de nœud immuable, de sorte que la redondance par zone implique un pool par zone (Unité 6.2). Les services d'edge gérés ont leur propre redondance ; la passerelle NAT, par exemple, déploie plusieurs passerelles à travers les zones de disponibilité d'une région (Unité 3.5). Les zones protègent contre la perte d'une ressource au sein du site. Elles ne protègent pas contre la perte du site, ce qui est l'objet de la section suivante.
3. Deux plans, une seule commande
3.1 La direction du trafic et la continuité des données sont des plans distincts
Une bascule déplace deux éléments que la plateforme gère au moyen de mécanismes différents :
| Plan | Déplacement | Mécanismes | Décide |
|---|---|---|---|
| Direction du trafic | Destination des nouvelles requêtes | Vérifications d'état ALB et NLB au sein d'un site ; groupes de bascule IP pour vos propres équipements ; votre moniteur réécrivant un enregistrement Cloud DNS entre les sites | RTO, via le temps de détection et le TTL |
| Continuité des données | Emplacement de la copie la plus récente des données | Réplication intra-cluster ; sauvegardes PITR dans un emplacement de sauvegarde hors site ; Backup Service ; dumps et buckets répliqués dans Object Storage | RPO, et la part de restauration du RTO |
Les plans échouent de manière indépendante et se rétablissent à des vitesses différentes. Une modification d'enregistrement prend quelques secondes plus un TTL ; la création et l'alimentation d'un nouveau cluster PostgreSQL à partir d'une sauvegarde prennent aussi longtemps que l'exige la taille des données. Pour les données d'objets, rappelez-vous la limite d'Object Storage : la réplication inter-régionale fonctionne pour les buckets appartenant aux utilisateurs, mais pas pour ceux appartenant au contrat (Unité 5.2).
3.2 Ne jamais laisser la direction du trafic devancer les données
La séquence de bascule est fixe : déclarer l'incident, rendre les données disponibles sur le site de récupération, les vérifier, puis diriger le trafic. Votre moniteur de l'Unité 3.7 peut détecter un site défaillant de lui-même, mais dans la conception pilote, il doit déclencher la déclaration, et non réécrire l'enregistrement sans surveillance, car la base de données de Berlin n'existe pas encore. Seuls les noms actifs-actifs sans état, dont les backends n'ont pas besoin de restauration, peuvent basculer automatiquement.
La bascule de retour suit le même ordre en sens inverse. Après l'incident, Francfort reçoit les données de Berlin, par exemple sous forme d'un nouveau cluster créé à partir de la sauvegarde du cluster de Berlin, et seulement alors l'enregistrement revient. Une bascule retour qui saute l'étape des données perd toutes les écritures effectuées à Berlin.
4. Parcs hybrides : Redondance de Private Cloud
Les systèmes bancaires de base de FinCorp fonctionnent sur un cluster Private Cloud (Unité 4.4), qui possède son propre modèle de redondance. À l'intérieur du cluster, vSAN protège les données sur plusieurs hôtes : une politique RAID 1 nécessite au moins trois hôtes, afin que deux copies complètes existent et qu'une reste intacte en cas de défaillance d'un hôte. Une modification de l'efficacité du stockage ou du chiffrement peut exiger un hôte supplémentaire pour maintenir la redondance complète ; sinon, vSAN doit temporairement réduire le niveau de protection, ce que l'option Autoriser la redondance réduite permet. Planifiez ce type de modifications comme une fenêtre de risque, et non comme une maintenance de routine.
Le cluster est situé en un seul emplacement, de sorte que la redondance des hôtes joue le rôle que les zones jouent dans un VDC : elle protège contre une défaillance à l'intérieur du site. La protection contre la perte du site provient de VMware Cloud Director Availability (VCDA), qui réplique les machines virtuelles de manière asynchrone, effectue la bascule et inverse les bascules entre les sites appairés. Le Backup Service peut également être utilisé conjointement avec Private Cloud pour les sauvegardes du parc.
Les deux modèles se concilient en un seul tableau dans le plan de continuité de FinCorp :
| Défaillance | Parc VDC | Parc Private Cloud |
|---|---|---|
| Un serveur ou un hôte | Zones explicites, vérifications d'état de l'équilibreur de charge | Copies vSAN sur d'autres hôtes, au moins trois hôtes |
| Un site | Pilot light, réécriture DNS après restauration des données | Bascule VCDA des VM répliquées, puis la même étape DNS pour tout nom public |
| Corruption des données | PITR à une heure cible, dumps | Restauration via Backup Service |
Le plan de pilotage est partagé. Quel que soit le parc qui bascule, un nom public passe par le même enregistrement Cloud DNS surveillé, de sorte que la règle de TTL et l'ordre « données d'abord » s'appliquent aux deux.
Déroulement de la mise en œuvre DCD
Vous allez vérifier la paire de zones à Francfort, préparer le pilote à Berlin et exécuter un exercice complet de basculement pour le portail : restauration de la base de données à Berlin, puis réécriture DNS, puis mesure par rapport au RTO et au RPO. Cela met en œuvre les sections 2.2 et 3.2 : zones explicites au sein du site, et orientation après les données.
Prérequis : fc-prod-fra-core avec fc-app-01 et fc-app-02, fc-data-01 et fc-data-02 (unités 3.1, 4.1, 4.2) ; l'ALB fc-alb-edge avec le groupe de cibles contrôlé par sondes fc-tg-portal (unité 3.3) ; fc-pg-portal avec un emplacement de sauvegarde en dehors de Francfort (unité 5.3) ; la zone fincorp.example avec portal, portal-fra et portal-txl, ainsi que le moniteur externe (unité 3.7) ; le VDC fc-prod-txl-dr avec ses LAN, une IP publique réservée et un ALB ; les privilèges Access and manage DBaaS et Access and manage DNS.
Objectif de construction : Câbler un basculement DNS surveillé sur une paire de deux zones et le valider, le basculement inter-sites étant effectué par votre surveillance après la restauration des données.
Étapes (dans Data Center Designer) :
- Ouvrir
fc-prod-fra-core. Sélectionnerfc-app-01et vérifier Availability Zone dans le panneau Inspector : il doit indiquer Zone 1, et non Auto. Vérifierfc-app-02pour la Zone 2, et les serveurs de données de la même manière. Corriger immédiatement un serveur réglé sur Auto ; sa zone peut être modifiée après le provisionnement. - Sélectionner chaque volume de ces serveurs et confirmer que son Availability Zone correspond à celle de son serveur. Un volume dans la mauvaise zone ne peut pas être modifié : créer une instantanée et provisionner un nouveau volume à partir de celle-ci dans la bonne zone.
- Ouvrir
fc-alb-edgeet le groupe de ciblesfc-tg-portal, et confirmer que les deux cibles ont Health Check Enabled. Ces contrôles constituent le basculement intra-site ; l'exercice ne doit pas dépendre de leur échec. - Dans
fc-prod-txl-dr, construire la couche portail à partir d'images téléversées à l'emplacement de Berlin : deux serveurs, Zone 1 et Zone 2, derrière l'ALB de Berlin. Une fois qu'ils passent leurs contrôles d'état, les arrêter via Power > Stop dans le panneau Inspector et provisionner la modification. Ils attendent désormais avec la facturation du CPU et de la RAM suspendue. - Lancer l'exercice dans une fenêtre de maintenance. Noter l'heure, puis aller dans Menu > Databases > PostgreSQL et sélectionner Create cluster. Saisir un Cluster Name tel que
fc-pg-portal-txlet sélectionner l'Location de Berlin ; elle ne peut pas être modifiée après la création. - Dans Create from backup, sélectionner
fc-pg-portalcomme Backup cluster et choisir le Recover target time. Compléter la configuration comme dans l'unité 5.3, avec le LAN de données de Berlin dans Network configuration, et sélectionner Save. Attendre que le cluster soit AVAILABLE, et noter l'heure. - Démarrer les deux serveurs portail de Berlin, orienter leur configuration de base de données vers le DNS Name du nouveau cluster, et confirmer que
portal-txlrépond via l'ALB de Berlin. - Déclencher l'action de basculement de votre moniteur : le
PUTqui réécritportalvers l'adresse de l'ALB de Berlin (unité 3.7). Mesurer le temps que mettent les clients de test pour atteindre Berlin. - Noter l'exercice : temps de détection ou de déclaration, temps de restauration de la base de données, temps de basculement DNS, et l'écart entre le temps de récupération cible et la dernière écriture à Francfort. Comparer la somme avec le RTO d'une heure et l'écart avec le RPO de cinq minutes.
- Revenir en arrière dans le même ordre : d'abord les données vers Francfort, puis l'enregistrement. Arrêter les serveurs de Berlin via le DCD et supprimer le cluster de l'exercice une fois le rapport de l'exercice approuvé.
Erreurs courantes :
- Laisser un membre redondant sur Auto. La séparation n'est alors qu'une supposition, pas une décision.
- Vérifier les zones des serveurs et oublier les volumes. La zone d'un volume est fixée au provisionnement.
- Laisser le moniteur réécrire l'enregistrement automatiquement pour une couche dont la base de données doit d'abord être restaurée.
- Éteindre les serveurs de Berlin depuis le système d'exploitation. Ils restent facturés ; les arrêter via le DCD.
- S'appuyer sur une adresse attribuée dynamiquement sur le site de récupération. L'arrêt d'un serveur la libère ; réserver chaque adresse dont un enregistrement ou un partenaire dépend.
- Garder l'emplacement de sauvegarde de
fc-pg-portalà Francfort. Une perte de site emporterait alors les sauvegardes avec elle. - Mesurer l'exercice sans la restauration de la base de données. La restauration représente généralement la plus grande part du RTO.
Résumé
Une conception de reprise sur incident part des RTO et RPO définis par le service concerné et cumule la part que chaque mécanisme contribue. Au sein d'un site, des zones explicites pour chaque membre redondant et ses volumes éliminent les points de défaillance communs ; entre les sites, le portail de FinCorp utilise une configuration pilot light à Berlin, avec des données restaurées depuis la sauvegarde hors site avant le déplacement de l'enregistrement Cloud DNS surveillé. Private Cloud suit la même logique avec la redondance des hôtes vSAN au sein du cluster et VCDA entre les sites, et partage la même couche de pilotage.
Points clés :
- Le RTO correspond à la détection, plus la restauration des données, plus un TTL ; le RPO provient du plan de données, jusqu'à environ cinq minutes de WAL en cas de perte d'un site PostgreSQL.
- Choisir la restauration par sauvegarde, le pilot light ou le mode actif-actif selon la charge de travail ; sur cette plateforme, la couche de données reste en écriture unique.
- Attribuer une zone explicite à chaque serveur et volume redondant ; Auto ne constitue pas une séparation enregistrée.
- Restaurer d'abord les données, puis orienter le trafic ; effectuer la bascule inverse dans le même ordre.
- Arrêter les serveurs en attente via le DCD et réserver chaque adresse dont le site de reprise dépend.
Terminologie importante :
- Pilot light : un site de reprise dont le réseau, les adresses, l'équilibreur de charge, les enregistrements et les images existent à l'avance, avec le calcul arrêté et les données restaurées à la demande.
- Plan d'orientation du trafic : les mécanismes qui déterminent où les nouvelles requêtes sont dirigées : vérifications d'état, bascule IP et enregistrements DNS.
- Plan de continuité des données : les mécanismes qui déterminent où se trouve la copie la plus récente utilisable des données : réplication, sauvegardes, dumps et buckets répliqués.