14 min de lectura

Objetivos de aprendizaje

Al final de este módulo, podrás:

  • Distinguir lo que le proporciona el plano de control administrado de lo que los grupos de nodos en su VDC cuestan y soportan
  • Diseñar grupos de nodos en torno a una plantilla de nodo que se fija en la creación y nodos que se reemplazan, no se parchean
  • Planificar el escalado automático con un mínimo de un nodo cálido por grupo escalado automáticamente
  • Diseñar en torno a los cuatro límites del servicio: servicios LoadBalancer, rutas de registro, filtrado de red y atribución de cumplimiento
  • Colocar el plano de control para un diseño soberano y elegir la disposición del clúster para FinCorp

Unidad 6.1: Diseño de la plataforma Kubernetes

Introducción

Managed Kubernetes divide un clúster en dos mitades con propietarios diferentes. El plano de control lo administra IONOS CLOUD, fuera de su alcance. Los grupos de nodos son servidores en su propio VDC, y la mayoría de las decisiones de diseño se toman allí: su configuración, su red, su mantenimiento y su costo.

El trabajo de diseño consiste en saber dónde termina cada mitad. Un servicio de LoadBalancer, un flujo de registros, un grupo de seguridad o una afirmación de cumplimiento que funciona en una VM puede comportarse de manera diferente en un clúster. Esta unidad establece el comportamiento de la plataforma y los límites, y define la disposición del clúster de FinCorp. Las unidades 6.2 y 6.3 lo construyen.

1. Dos mitades: plano de control y Node Pools

1.1 Lo que se paga y lo que está cubierto

El plano de control no tiene costo. Usted paga por la infraestructura que utiliza el clúster: los nodos son servidores de Compute Engine con volúmenes de Block Storage, aprovisionados en su VDC. Por lo tanto, un clúster adicional no genera ningún cargo por el plano de control; su costo corresponde a sus nodos. Los Node Pools de Core dedicados son elegibles para Cloud Savings Plans (Unidad 2.4).

Los niveles de servicio siguen la misma división. El SLA de tiempo de actividad del 99,95 por ciento por servicio cubre el plano de control, con la API de Kubernetes como su alcance. Los Node Pools se rigen por los términos de Compute Engine, ya que son servidores de Compute Engine. Incluya ambas líneas en el diseño de disponibilidad: una interrupción de la API detiene los cambios en el clúster, mientras que las cargas de trabajo en ejecución dependen de los nodos.

1.2 El plano de control regional oculto

Los componentes del plano de control, como kube-apiserver, kube-scheduler y kube-controller-manager, no son visibles para usted y no pueden modificarse. Usted accede a kube-apiserver solo a través de su API REST. El plano de control se ejecuta en VM dentro de un clúster geo-redundante en la región elegida, y el tráfico entre los nodos y el plano de control se protege mediante TLS mutuo.

Dos de sus propiedades son entradas fijas para su diseño. En primer lugar, cada clúster ejecuta dos réplicas de kube-apiserver con 8 GiB de memoria cada una, y una réplica que alcanza el límite se reinicia. Las cargas de trabajo continúan ejecutándose, pero los operadores y controladores que dependen de la API pueden verse interrumpidos, por lo que un número muy grande de objetos y un tráfico de listados intenso constituyen un riesgo de diseño. En segundo lugar, la Interfaz de Red de Contenedores (CNI) es Calico, y no puede elegir ni instalar otra. Calico también proporciona políticas de red de Kubernetes, lo cual es importante en la Sección 3.3.

2. Diseño de grupos de nodos

2.1 La plantilla de Node es una decisión en el momento de la creación

Un grupo de nodos es un conjunto de nodos que comparten una única configuración. Su plantilla de Node define el tipo de servidor, Dedicated Core o vCPU, y los núcleos, la RAM, la zona de disponibilidad, el tipo de almacenamiento (Essential o Performance) y el tamaño del almacenamiento. Independientemente del tipo de servidor, 1 núcleo aprovisionado equivale a 2 CPUs de Managed Kubernetes.

Los núcleos, la RAM, la zona de disponibilidad y el tipo de almacenamiento no pueden modificarse después de crear el grupo; el tipo de servidor de un grupo existente puede cambiarse entre Dedicated Core y vCPU. Por lo tanto, una nueva forma de nodo implica un nuevo grupo: créelo, mueva las cargas de trabajo mediante etiquetas, taints y selectores de nodo, y elimine el grupo anterior. La misma regla hace que el diseño de zonas sea explícito. Dado que la zona de disponibilidad es un campo de la plantilla, un clúster que debe sobrevivir a la pérdida de una zona necesita un grupo por zona.

Los límites del servicio establecen el marco exterior:

Límite Valor
Pods por nodo 110 (el valor predeterminado de Kubernetes)
Nodos por grupo de nodos 100; 20 recomendados
Grupos de nodos por clúster 500; 50 recomendados
Nodos por clúster 5.000
Volúmenes por nodo 20, a menudo menos, porque cada nodo tiene 24 ranuras PCI compartidas entre todos los periféricos

Como se muestra arriba, los valores recomendados están muy por debajo de los límites duros. La sección 2.2 explica por qué el tamaño recomendado del grupo es importante.

2.2 Nodos inmutables y la ventana de mantenimiento

Los nodos son inmutables. IONOS CLOUD no instala actualizaciones de software en nodos en ejecución; los reemplaza. Durante el mantenimiento de un grupo, los nodos se reemplazan uno por uno, comenzando con el más antiguo: se crea un nuevo nodo, el antiguo se drena y luego se elimina. El grupo queda bloqueado hasta que se complete el trabajo.

La ventana de mantenimiento comienza a la hora que usted establezca y permanece abierta durante cuatro horas. Los nodos que no se reconstruyan dentro de la ventana se reemplazarán en el próximo mantenimiento programado, por lo que se recomiendan grupos de no más de 20 nodos. Usted inicia las actualizaciones de versión; los grupos de nodos pueden ejecutar una versión de Kubernetes anterior que la del plano de control, pero las versiones menores no deben diferir en más de 1. Una versión demasiado antigua para ser soportada se actualiza por la fuerza, y los usuarios afectados suelen recibir una notificación de soporte dos semanas antes.

De esto se derivan tres reglas de diseño. Cada carga de trabajo debe tolerar el drenaje de un nodo, por lo que debe establecer Presupuestos de Interrupción de Pod (Pod Disruption Budgets) que permitan el progreso. Los nodos de grupos públicos reciben nuevas direcciones IP públicas cuando se reemplazan; especifique de antemano una lista de direcciones IP públicas, de modo que los nuevos nodos tomen las suyas de un conjunto conocido que una lista de permitidos de un socio pueda retener. Y una reconstrucción requiere margen: mientras un nodo fallido se reconstruye, el grupo tiene un nodo activo adicional y facturable, y la reconstrucción requiere cuota de servidor.

2.3 El límite inferior del escalado automático

El escalador automático del clúster agrega nodos cuando los pods no pueden programarse por falta de recursos, y elimina nodos que están subutilizados durante un período prolongado cuando sus pods pueden ubicarse en otro lugar. Usted establece un mínimo y un máximo por grupo, entre 1 y 100. El escalador automático nunca sale de esos límites, nunca excede la cuota del contrato y no puede reducir un grupo a 0 nodos. Los grupos con y sin escalado automático pueden compartir un clúster.

No hay escalado a cero. El límite inferior de cada grupo con escalado automático es un nodo cálido que usted paga las 24 horas del día, por lo que un clúster con muchos grupos pequeños con escalado automático tiene un alto costo en espera. Mantenga el número de grupos pequeño y coloque el trabajo por lotes intermitente en un grupo cuyo mínimo sea 1. El escalado hacia abajo también tiene bloqueos: los pods con almacenamiento local, como emptyDir, lo bloquean a menos que tengan la anotación cluster-autoscaler.kubernetes.io/safe-to-evict: "true", y los nodos que ejecutan solo pods de DaemonSet o de sistema no pueden eliminarse.

3. Las cuatro fronteras

3.1 Un servicio LoadBalancer es una IP estática en un solo Node

Un servicio de tipo LoadBalancer no aprovisiona un balanceador de carga externo. IONOS CLOUD asigna una dirección IP pública estática pre-reservada, o reserva una nueva, y la adjunta como dirección IP secundaria a un solo worker node. Ese Node actúa como el nodo de entrada, y kube-proxy reenvía el tráfico al pod correcto. Si no especifica un loadBalancerIP, la dirección se libera cuando se elimina el servicio.

Las consecuencias son medibles. Cualquier Node individual proporciona hasta 2 Gbit/s en su interfaz pública. Cuando kube-proxy reenvía a otro Node, la operación NAT reemplaza la IP del cliente con una IP interna del Node; externalTrafficPolicy: Local la preserva, pero entonces la IP debe estar en un Node que ejecute el pod de entrada. Escalar más allá de un solo Node significa varias direcciones IP de LB distribuidas entre los nodos de entrada y publicadas en DNS. Los grupos de nodos privados no admiten el tipo LoadBalancer en absoluto.

El patrón es, por lo tanto, un controlador de entrada expuesto como el único servicio LoadBalancer, en direcciones IP reservadas en IP Management, con un Application Load Balancer (ALB) aprovisionado por separado delante cuando necesite enrutamiento administrado de capa 7 (Unidad 3.3). La Unidad 6.2 lo construye.

3.2 Dos rutas de registro, ambas a su disposición

Los eventos del Cluster le llegan a través de dos rutas separadas. El registro de auditoría es una configuración del Cluster: cuando se activa, los registros de auditoría se almacenan en un bucket existente de IONOS Cloud Object Storage que usted nombre. Los registros de aplicación y de Node llegan al Logging Service solo si usted los envía: un agente Fluent Bit que usted despliega en el Cluster los envía a una canalización de registro con la fuente de registro de Kubernetes. Ninguna de las dos rutas está activada por defecto, por lo que el diseño de observabilidad debe nombrar el bucket, la canalización y quién lee cada uno.

3.3 La filtración de red termina en el grupo de nodos

Los Nodes de los grupos de nodos de Managed Kubernetes no pueden agregarse a Network Security Groups (NSG), por lo que los grupos de seguridad de nivel de la Unidad 3.2 no llegan al Cluster. La filtración se desplaza a tres lugares:

Capa Control
API de Kubernetes Allowed IPs en el Cluster restringen el acceso a la API a un rango de direcciones IP; vacío significa acceso desde cualquier lugar
Tráfico entre pods Políticas de red de Kubernetes, aplicadas por Calico
Tráfico desde el exterior El ALB en el frente, y los objetivos a los que puede llegar (Unidad 3.3)
Quién administra el Cluster Concesiones de grupo IAM en el Cluster, y el privilegio Create Kubernetes Clusters (Unidad 2.2)

Como se muestra arriba, la filtración de un Cluster reside en objetos de Kubernetes y en los servicios de borde, no en el modelo de cortafuegos de VDC. Comience cada namespace con una política de red de denegación por defecto y permita los flujos explícitamente.

3.4 El cumplimiento cubre el servicio, no sus Workloads

Managed Kubernetes está dentro del alcance del certificado ISO 27001 sobre la base de IT-Grundschutz, BSI-IGZ-0730-2025, que cubre el aprovisionamiento y la operación del servicio por IONOS SE en Alemania (Unidad 1.4). Para BSI C5, confirme el servicio en el informe de atestación antes de citarlo. De cualquier manera, la credencial describe cómo IONOS CLOUD opera la plataforma. Sus imágenes, namespaces, reglas RBAC, políticas de red y secretos son sus controles, y su paquete de evidencia debe cubrirlos por separado.

4. Colocación y soberanía del plano de control

Usted crea clústeres en Frankfurt am Main (de/fra) o en Estados Unidos: Newark (us/ewr), Las Vegas (us/las) y Lenexa (us/mci). El plano de control se ejecuta en la región que usted elija, y la ubicación no puede modificarse posteriormente. Un clúster con grupos de nodos privados está vinculado a una región, y sus grupos de nodos deben estar en VDC en la misma ubicación que el clúster.

Para un diseño soberano, el filtro de ubicación de la Unidad 1.4 se aplica tanto al plano de control como a los nodos: la API de Kubernetes y sus secretos residen donde reside el plano de control, y su registro de auditoría reside en el bucket de Object Storage que usted nombre para el registro de auditoría. Por lo tanto, FinCorp crea clústeres únicamente en de/fra.

La disposición de FinCorp se deriva de las Secciones 1 a 3. Un clúster público, fc-k8s-portal, ejecuta los servicios de API del portal y de socios en fc-prod-fra-core detrás del ALB fc-alb-edge (Unidad 6.2). Un clúster privado, fc-k8s-ai, ejecuta los trabajadores de recuperación e inferencia en fc-prod-fra-ai, sin direcciones públicas de nodos (Unidad 6.3). Ambos utilizan grupos de Dedicated Core, uno por zona, de un máximo de 20 nodos, de modo que el mantenimiento finalice dentro de su ventana y los núcleos comprometidos puedan estar en un Savings Plan.

Resumen de decisiones

Decisión Elección Motivo
Número de clústeres Uno por zona de confianza (borde público, IA privada) El plano de control es gratuito; los clústeres solo cuestan sus Node
Forma del grupo de Node Un grupo por forma y por zona Los núcleos, la RAM, la zona y el tipo de almacenamiento se fijan en la creación
Tamaño del grupo Como máximo 20 Node El mantenimiento reemplaza los Node dentro de una ventana de cuatro horas
Escalado automático Pocos grupos escalados automáticamente, mínimo 1 No hay escalado a cero; cada grupo escalado automáticamente mantiene un Node cálido
Exposición Un controlador de entrada como único servicio LoadBalancer, con ALB delante Un servicio LoadBalancer es una IP estática en un Node; los grupos privados no lo admiten
Filtrado IP permitidas, políticas de red, concesiones de IAM Los Node de un grupo de Node no pueden ser miembros de NSG
Registros Registros de auditoría en un bucket, Fluent Bit hacia el Logging Service Debe configurar ambas rutas usted
Ubicación de/fra para FinCorp El plano de control se ejecuta en la región elegida, fija en la creación

Resumen

Managed Kubernetes le proporciona un plano de control gratuito, oculto y con redundancia geográfica en la región que usted elija, y coloca todo lo demás de su VDC como grupos de nodos de servidores Compute Engine inmutables. Diseñe los grupos en torno a una plantilla que no puede modificarse, una ventana de mantenimiento de cuatro horas y un umbral de escalado automático de un nodo. Luego, coloque los controles que un diseño de VM da por sentado: un ALB en lugar de un servicio LoadBalancer, su propia configuración de registros, políticas de red en lugar de NSG y evidencia para sus cargas de trabajo junto al certificado del proveedor.

Puntos clave:

  • El plano de control es gratuito; los grupos de nodos son servidores Compute Engine facturables bajo los términos de Compute Engine.
  • Los núcleos, la RAM, la zona y el tipo de almacenamiento de un grupo se fijan en el momento de la creación; los nodos se reemplazan, nunca se parchean.
  • Los grupos con escalado automático van de 1 a 100 nodos y nunca escalan a cero.
  • Un servicio LoadBalancer adjunta una IP estática a un nodo, con un máximo de 2 Gbit/s por nodo; los grupos privados no lo admiten.
  • Los nodos de un grupo de nodos no pueden unirse a NSG; filtre con IPs permitidas, políticas de red de Calico y los servicios de borde.

Terminología importante:

  • Nodo de entrada: el nodo de trabajo que mantiene la IP estática de un servicio LoadBalancer como dirección secundaria y reenvía su tráfico.
  • Plantilla de nodo: el tipo de servidor y la configuración de hardware de un grupo de nodos, que se establece cuando se crea el grupo.