Unidad 7.1: Resiliencia y continuidad del negocio
Introducción
El Módulo 3 construyó las capas de dirección: comprobaciones de estado del balancer, grupos de conmutación por error de IP y un registro de Cloud DNS que su monitorización reescribe (Unidades 3.3 a 3.7). El Módulo 5 construyó las copias: recuperación en un punto en el tiempo, ubicaciones de copia de seguridad fuera del sitio, instantáneas y un archivo bloqueado (Unidades 5.3 y 5.7). Ninguna de las dos mitades constituye por sí sola un diseño de recuperación. Un registro que apunta a Berlín antes de que Berlín tenga los datos es una interrupción con una nueva dirección.
Esta unidad une las dos mitades. Comienza con los objetivos que establece el negocio, elige una estrategia para cada carga de trabajo, coloca las partes redundantes de modo que una sola avería no afecte a ambas, y termina construyendo y probando la conmutación por error entre sitios que el departamento de riesgos de FinCorp aprueba.
1. Objetivos y estrategias
1.1 El RTO y el RPO pertenecen al negocio
El objetivo de tiempo de recuperación (RTO) es la interrupción más larga que puede tener un servicio. El objetivo de punto de recuperación (RPO) es los datos más recientes que el negocio puede perder. Ambos son decisiones de negocio: el arquitecto los evalúa, el propietario del negocio los elige y el diseño debe demostrarlos en un ejercicio. Un objetivo que nadie ha probado es una esperanza, no un objetivo.
En esta plataforma, cada mecanismo contribuye con una parte conocida a esas cifras, y el diseño las suma:
- RPO proviene del plano de datos. El DBaaS estrictamente síncrono para PostgreSQL no pierde ninguna transacción confirmada en un conmutación por error intraclúster, mientras que la pérdida de un sitio pierde el WAL que aún no se ha subido a la ubicación de copia de seguridad, hasta aproximadamente cinco minutos (Unidad 5.3).
- RTO es la detección, más el tiempo para hacer los datos disponibles en el otro sitio, más el tiempo que los clientes tardan en seguir. Los clientes siguen un registro de Cloud DNS dentro de un TTL, y el límite inferior del TTL es de 60 segundos (Unidad 3.7).
1.2 Tres estrategias sobre primitivas de la plataforma
Cada estrategia compra un RTO más bajo con un mayor costo fijo. FinCorp elige por carga de trabajo, no por empresa.
| Estrategia | Lo que se ejecuta en el sitio de recuperación antes del incidente | Mecanismo de recuperación | Forma del RTO | Costo fijo |
|---|---|---|---|---|
| Copia de seguridad y restauración | Nada; un plan de red y el manual de procedimientos | Backup Service restaura, un nuevo clúster de DBaaS desde una copia de seguridad fuera del sitio, servidores reconstruidos desde imágenes subidas a la ubicación de recuperación | Horas: todo se aprovisiona durante el incidente | Solo copias de seguridad y almacenamiento |
| Piloto encendido (Pilot light) | VDC, LANs, IPs reservadas, ALB, registros de DNS e imágenes; servidores detenidos en el DCD | Iniciar los servidores, crear la base de datos desde la copia de seguridad, reescribir el registro de DNS | Detección más restauración de base de datos más un TTL | Red y almacenamiento; los servidores detenidos tienen la facturación de CPU y RAM suspendida |
| Activo-activo (capas sin estado) | Capas sin estado completas en ambos sitios, cada una sirviendo su parte del tráfico | El sitio superviviente toma los nombres del sitio fallido; la capa de datos conmuta como en piloto encendido | Minutos para las capas sin estado | Dos capas de cómputo completas |
Tres hechos de la plataforma dan forma a la tabla. Un servidor detenido a través del DCD tiene sus recursos desasignados y la facturación suspendida, mientras que una apagado dentro del sistema operativo lo mantiene facturado; detenerlo también libera una dirección IP asignada dinámicamente, por lo que cada dirección en la que el sitio de recuperación depende debe estar reservada. Las imágenes y capturas subidas están vinculadas a su región, por lo que el sitio de Berlín necesita sus propias copias. Y la replicación de DBaaS se ejecuta entre las instancias de un clúster, dentro de una ubicación (Unidad 5.3), por lo que ninguna estrategia aquí proporciona una segunda base de datos escribible en la otra región. "Activo-activo" en esta plataforma significa, por lo tanto, capas sin estado activo-activo sobre una capa de datos de un solo escritor.
La asignación de FinCorp es la siguiente:
| Carga de trabajo | RTO / RPO (establecidos por el negocio) | Estrategia |
|---|---|---|
| Portal de clientes y API de socios | 1 hora / 5 minutos | Piloto encendido en fc-prod-txl-dr |
Gestión de casos en fc-mongo-cases |
8 horas / 24 horas | Copia de seguridad y restauración desde volcados |
| Informes internos | 2 días / 24 horas | Copia de seguridad y restauración |
2. Colocación dentro de un sitio
2.1 Las zonas son recursos físicos independientes
Dentro de un centro de datos, las zonas de disponibilidad separan los dominios de fallo. Un servidor o un dispositivo de almacenamiento asignado a la Zona 1 reside en un recurso físico diferente al de uno asignado a la Zona 2. Los servidores ofrecen las opciones Zona 1, Zona 2 y Auto (el valor predeterminado, en el que el sistema asigna una zona durante la aprovisionamiento). Block Storage añade la Zona 3, que no tiene un equivalente de cómputo (Unidad 5.1).
Las dos capas se comportan de manera diferente después del aprovisionamiento. La zona de un servidor puede cambiarse más adelante en el panel Inspector; la zona de un volumen se fija en el primer aprovisionamiento, y moverla requiere una instantánea y un nuevo volumen. Un par redundante cuyos servidores se encuentran en la Zona 1 y la Zona 2, pero cuyos volúmenes comparten una zona, no ha eliminado su punto de fallo común.
2.2 La trampa de la zona automática
Auto deja la asignación a cargo del sistema en el momento del aprovisionamiento. Para un solo servidor, esto es inofensivo. Para un par redundante, significa que la separación no es una decisión documentada, y nadie puede demostrar a un auditor que los dos miembros no comparten un recurso físico. La regla es simple: cada miembro de un par redundante debe recibir una zona explícita, y sus volúmenes deben recibir la misma zona que su servidor.
La regla se aplica en cualquier lugar donde se elija la zona: servidores de portal y de datos, miembros de conmutación por error de IP (Unidad 3.5) y grupos de nodos de Kubernetes, donde la zona forma parte de la plantilla de nodo inmutable, de modo que la redundancia de zonas implica un grupo por zona (Unidad 6.2). Los servicios de borde gestionados tienen su propia redundancia; el NAT Gateway, por ejemplo, despliega múltiples puertas de enlace en varias zonas de disponibilidad dentro de una región (Unidad 3.5). Las zonas protegen contra la pérdida de un recurso dentro del sitio. No protegen contra la pérdida del sitio, que es la función de la siguiente sección.
3. Dos planos, un orden
3.1 La dirección del tráfico y la continuidad son planos distintos
Un conmutado por fallo mueve dos elementos que la plataforma gestiona mediante mecanismos diferentes:
| Plano | Elemento que se mueve | Mecanismos | Decide |
|---|---|---|---|
| Dirección del tráfico | A dónde van las nuevas solicitudes | Verificaciones de estado de ALB y NLB dentro de un sitio; grupos de conmutación por fallo de IP para sus propios dispositivos; su monitor reescribiendo un registro de Cloud DNS entre sitios | RTO, a través del tiempo de detección y el TTL |
| Continuidad de datos | Dónde se encuentra la copia más reciente de los datos | Replicación dentro del clúster; copias de seguridad PITR en una ubicación de copia de seguridad fuera del sitio; Backup Service; volcados y cubos replicados en Object Storage | RPO, y la parte de recuperación del RTO |
Los planos fallan de forma independiente y se recuperan a velocidades diferentes. Un cambio de registro toma segundos más un TTL; crear y llenar un nuevo clúster de PostgreSQL desde una copia de seguridad toma tanto tiempo como lo exija el tamaño de los datos. Para datos de objetos, recuerde el límite de Object Storage: la replicación entre regiones funciona para cubos propiedad del usuario, no para los propiedad del contrato (Unidad 5.2).
3.2 Nunca permita que la dirección del tráfico se adelante a los datos
La secuencia de conmutación por fallo es fija: declarar el incidente, hacer los datos disponibles en el sitio de recuperación, verificarlos y luego dirigir el tráfico. Su monitor de la Unidad 3.7 puede detectar un sitio caído por sí solo, pero en el diseño de piloto, debe elevar la declaración, no reescribir el registro sin supervisión, porque la base de datos en Berlín aún no existe. Solo los nombres de activo-activo sin estado, cuyos backends no requieren restauración, pueden conmutar por fallo automáticamente.
La conmutación inversa sigue el mismo orden en sentido inverso. Después del incidente, Fráncfort recibe los datos de Berlín, por ejemplo como un nuevo clúster creado desde la copia de seguridad del clúster de Berlín, y solo entonces el registro se mueve de vuelta. Una conmutación inversa que omita el paso de datos pierde cada escritura realizada en Berlín.
4. Patrimonios híbridos: Redundancia de Private Cloud
Los sistemas de banca central de FinCorp se ejecutan en un clúster de Private Cloud (Unidad 4.4), que cuenta con su propio modelo de redundancia. Dentro del clúster, vSAN protege los datos entre hosts: una política RAID 1 requiere al menos tres hosts, de modo que existan dos copias completas y una permanezca intacta si un host falla. Cambiar la eficiencia del almacenamiento o el cifrado puede requerir un host adicional para mantener la redundancia completa; de lo contrario, vSAN debe reducir temporalmente el nivel de protección, lo cual permite la opción Permitir redundancia reducida. Programe estos cambios como una ventana de riesgo, no como mantenimiento de rutina.
El clúster se encuentra en una sola ubicación, por lo que la redundancia de hosts cumple la función que las zonas cumplen en un VDC: protege contra una falla dentro del sitio. La protección contra la pérdida del sitio proviene de VMware Cloud Director Availability (VCDA), que replica máquinas virtuales de forma asíncrona, realiza conmutaciones por error e invierte las conmutaciones por error entre sitios emparejados. Backup Service también puede utilizarse junto con Private Cloud para las copias de seguridad del patrimonio.
Los dos modelos se armonizan en una sola tabla en el plan de continuidad de FinCorp:
| Fallo | Patrimonio VDC | Patrimonio Private Cloud |
|---|---|---|
| Un servidor o host | Zonas explícitas, comprobaciones de estado del equilibrador de carga | Copias de vSAN en otros hosts, al menos tres hosts |
| Un sitio | Piloto de luz, reescritura de DNS después de la restauración de datos | Conmutación por error de VCDA de las VMs replicadas, y luego el mismo paso de DNS para cualquier nombre público |
| Corrupción de datos | PITR a una hora objetivo, volcados | Restauración de Backup Service |
El plano de dirección es compartido. Cualquiera que sea el patrimonio que conmute por error, un nombre público se mueve a través del mismo registro de Cloud DNS monitoreado, por lo que la regla de TTL y el orden de "datos primero" se aplican a ambos.
Recorrido de implementación de DCD
Verificará el par de zonas en Frankfurt, preparará el piloto light en Berlín y ejecutará un ejercicio completo de conmutación por error para el portal: restauración de la base de datos en Berlín, luego la reescritura de DNS y, a continuación, la medición frente al RTO y el RPO. Esto materializa las secciones 2.2 y 3.2: zonas explícitas dentro del sitio y el direccionamiento posterior a los datos.
Requisitos previos: fc-prod-fra-core con fc-app-01 y fc-app-02, fc-data-01 y fc-data-02 (Unidades 3.1, 4.1, 4.2); el ALB fc-alb-edge con el grupo de destino con verificación de estado fc-tg-portal (Unidad 3.3); fc-pg-portal con una ubicación de copia de seguridad fuera de Frankfurt (Unidad 5.3); la zona fincorp.example con portal, portal-fra y portal-txl, y el monitor externo (Unidad 3.7); el VDC fc-prod-txl-dr con sus LAN, una IP pública reservada y un ALB; los privilegios Access and manage DBaaS y Access and manage DNS.
Objetivo de construcción: Configurar la conmutación por error de DNS monitorizada a través de un par de dos zonas y validarla, con la conmutación entre sitios realizada por su monitorización después de que los datos se hayan restaurado.
Pasos (en el Data Center Designer):
- Abra
fc-prod-fra-core. Seleccionefc-app-01y verifique Availability Zone en el panel Inspector: debe indicar Zona 1, no Auto. Verifiquefc-app-02para la Zona 2, y los servidores de datos de la misma manera. Corrija ahora un servidor configurado en Auto; su zona se puede cambiar después del aprovisionamiento. - Seleccione cada volumen de esos servidores y confirme que su Availability Zone coincide con su servidor. Un volumen en la zona incorrecta no se puede cambiar: cree una instantánea y aprovisione un nuevo volumen desde ella en la zona correcta.
- Abra
fc-alb-edgey el grupo de destinofc-tg-portal, y confirme que ambos destinos tienen Health Check Enabled. Estas verificaciones son la conmutación por error dentro del sitio; el ejercicio no debe depender de que fallen. - En
fc-prod-txl-dr, construya la capa del portal a partir de imágenes subidas a la ubicación de Berlín: dos servidores, Zona 1 y Zona 2, detrás del ALB de Berlín. Cuando pasen sus verificaciones de estado, deténgalos a través de Power > Stop en el panel Inspector y aprovisione el cambio. Ahora esperan con la facturación de CPU y RAM suspendida. - Inicie el ejercicio en una ventana de mantenimiento. Registre la hora, luego vaya a Menu > Databases > PostgreSQL y seleccione Create cluster. Introduzca un Cluster Name como
fc-pg-portal-txly seleccione la Location de Berlín; no se puede cambiar después de la creación. - En Create from backup, seleccione
fc-pg-portalcomo Backup cluster y elija el Recover target time. Complete la configuración como en la Unidad 5.3, con la LAN de datos de Berlín en Network configuration, y seleccione Save. Espere hasta que el cluster esté AVAILABLE, y registre la hora. - Inicie los dos servidores del portal de Berlín, apunte su configuración de base de datos al DNS Name del nuevo cluster y confirme que
portal-txlresponde a través del ALB de Berlín. - Dispare la acción de conmutación por error de su monitor: el
PUTque reescribeportala la dirección del ALB de Berlín (Unidad 3.7). Mida cuánto tiempo tardan los clientes de prueba en llegar a Berlín. - Registre el ejercicio: tiempo de detección o declaración, tiempo de restauración de la base de datos, tiempo de conmutación de DNS y la brecha entre la hora objetivo de recuperación y la última escritura en Frankfurt. Compare la suma con el RTO de 1 hora y la brecha con el RPO de 5 minutos.
- Conmute de vuelta en el mismo orden: datos a Frankfurt primero, luego el registro. Detenga los servidores de Berlín a través del DCD y elimine el cluster del ejercicio una vez que el informe del ejercicio esté aprobado.
Errores comunes:
- Dejar un miembro redundante en Auto. La separación es entonces una suposición, no una decisión.
- Verificar las zonas de los servidores y olvidar los volúmenes. La zona de un volumen es fija al aprovisionar.
- Permitir que el monitor reescriba el registro automáticamente para una capa cuya base de datos debe restaurarse primero.
- Apagar los servidores de Berlín dentro del sistema operativo. Siguen facturándose; deténgalos a través del DCD.
- Confiar en una dirección asignada dinámicamente en el sitio de recuperación. Detener un servidor la libera; reserve cada dirección de la que dependa un registro o socio.
- Mantener la ubicación de copia de seguridad de
fc-pg-portalen Frankfurt. Una pérdida del sitio entonces lleva consigo las copias de seguridad. - Medir el ejercicio sin la restauración de la base de datos. La restauración suele ser la mayor parte del RTO.
Resumen
Un diseño de recuperación parte de los RTO y RPO definidos por el negocio y suma la contribución de cada mecanismo. Dentro de un sitio, zonas explícitas para cada miembro redundante y sus volúmenes eliminan puntos de fallo comunes; entre sitios, el portal de FinCorp utiliza una configuración pilot light en Berlín, con los datos restaurados desde la copia de seguridad fuera del sitio antes de que se modifique el registro de Cloud DNS supervisado. Private Cloud sigue la misma lógica con redundancia de hosts vSAN dentro del clúster y VCDA entre sitios, y comparte la misma capa de dirección.
Puntos clave:
- El RTO es la detección más la restauración de datos más un TTL; el RPO proviene del plano de datos, con un máximo de aproximadamente cinco minutos de WAL para la pérdida de un sitio de PostgreSQL.
- Elija entre restauración desde copia de seguridad, pilot light o activo-activo según la carga de trabajo; en esta plataforma, la capa de datos permanece con un único escritor.
- Asigne una zona explícita a cada servidor y volumen redundante; Auto no es una separación registrada.
- Restaure los datos primero y luego dirija el tráfico; revierta el fallo en el mismo orden.
- Detenga los servidores en espera a través de DCD y reserve cada dirección de la que depende el sitio de recuperación.
Terminología importante:
- Pilot light: un sitio de recuperación cuya red, direcciones, equilibrador, registros e imágenes existen de antemano, con la computación detenida y los datos restaurados bajo demanda.
- Plano de dirección de tráfico: los mecanismos que deciden a dónde van las nuevas solicitudes: comprobaciones de estado, conmutación por error de IP y registros de DNS.
- Plano de continuidad de datos: los mecanismos que deciden dónde se encuentra la copia más reciente y utilizable de los datos: replicación, copias de seguridad, volcados y cubos replicados.