14 min de lecture

Objectifs d'apprentissage

À la fin de ce module, vous serez en mesure de:

  • Distinguer ce que le plan de contrôle managé vous offre de ce que les pools de nœuds de votre VDC coûtent et supportent
  • Concevoir des pools de nœuds autour d'un modèle de nœud fixé à la création et de nœuds qui sont remplacés, et non modifiés
  • Planifier le redimensionnement automatique avec un minimum d'un nœud chaud par pool redimensionné automatiquement
  • Concevoir autour des quatre limites du service : services LoadBalancer, chemins de journaux, filtrage réseau et attribution de conformité
  • Placer le plan de contrôle pour une conception souveraine et choisir la disposition du cluster pour FinCorp

Unité 6.1 : Conception de la plateforme Kubernetes

Introduction

Managed Kubernetes divise un cluster en deux parties distinctes, chacune ayant un responsable différent. Le plan de contrôle est géré par IONOS CLOUD, hors de votre champ de vision. Les pools de nœuds sont des serveurs situés dans votre propre VDC, et la plupart des décisions de conception s'y appliquent : leur configuration, leur réseau, leur maintenance et leur coût.

Le travail de conception consiste à savoir où chaque partie s'arrête. Un service LoadBalancer, un flux de journaux, un groupe de sécurité ou une affirmation de conformité qui fonctionne sur une VM peut se comporter différemment sur un cluster. Cette unité décrit le comportement de la plateforme et les limites, et définit la disposition du cluster de FinCorp. Les unités 6.2 et 6.3 le construisent.

1. Deux volets : le plan de contrôle et les Node Pools

1.1 Ce que vous payez et ce qui est inclus

Le plan de contrôle est gratuit. Vous payez l'infrastructure utilisée par le cluster : les nœuds sont des serveurs Compute Engine avec des volumes Block Storage, provisionnés dans votre VDC. Un cluster supplémentaire n'ajoute donc aucun coût de plan de contrôle ; son coût réside dans ses nœuds. Les pools de nœuds Dedicated Core sont éligibles aux Cloud Savings Plans (Unité 2.4).

Les niveaux de service suivent la même division. Le SLA de disponibilité par service de 99,95 % couvre le plan de contrôle, avec l'API Kubernetes comme périmètre. Les Node Pools relèvent des conditions Compute Engine, car ce sont des serveurs Compute Engine. Intégrez ces deux aspects dans la conception de la disponibilité : une interruption de l'API arrête les modifications du cluster, tandis que les charges de travail en cours d'exécution dépendent des nœuds.

1.2 Le plan de contrôle régional masqué

Les composants du plan de contrôle, tels que kube-apiserver, kube-scheduler et kube-controller-manager, ne sont pas visibles pour vous et ne peuvent pas être modifiés. Vous accédez à kube-apiserver uniquement via son API REST. Le plan de contrôle fonctionne sur des VM dans un cluster géorédundant dans la région choisie, et le trafic entre les nœuds et le plan de contrôle est sécurisé par TLS mutuel.

Deux de ses propriétés sont des paramètres fixes de votre conception. Premièrement, chaque cluster exécute deux répliques kube-apiserver avec 8 Go de mémoire chacune, et une réplique qui atteint la limite est redémarrée. Les charges de travail continuent de fonctionner, mais les opérateurs et les contrôleurs qui dépendent de l'API peuvent être perturbés, de sorte qu'un très grand nombre d'objets et un trafic de liste élevé constituent un risque de conception. Deuxièmement, l'interface de réseau de conteneurs (CNI) est Calico, et vous ne pouvez pas choisir ou installer une autre solution. Calico fournit également les politiques de réseau Kubernetes, ce qui est important dans la section 3.3.

2. Conception des pools de Node

2.1 Le modèle de Node est une décision prise à la création

Un pool de Node est un groupe de Node qui partagent une même configuration. Son modèle de Node définit le type de serveur, Dedicated Core ou vCPU, ainsi que le nombre de cœurs, la RAM, la zone de disponibilité, le type de stockage (Essential ou Performance) et la taille du stockage. Quel que soit le type de serveur, 1 cœur provisionné équivaut à 2 CPU Managed Kubernetes.

Les cœurs, la RAM, la zone de disponibilité et le type de stockage ne peuvent pas être modifiés après la création du pool ; le type de serveur d'un pool existant peut être basculé entre Dedicated Core et vCPU. Une nouvelle forme de Node est donc un nouveau pool : créez-le, déplacez les charges de travail à l'aide de labels, de taints et de sélecteurs de Node, puis supprimez l'ancien pool. La même règle rend la conception des zones explicite. Étant donné que la zone de disponibilité est un champ du modèle, un cluster qui doit survivre à la perte d'une zone nécessite un pool par zone.

Les limites du service définissent le cadre extérieur :

Limite Valeur
Pods par Node 110 (valeur par défaut de Kubernetes)
Node par pool de Node 100 ; 20 recommandées
Pools de Node par cluster 500 ; 50 recommandés
Node par cluster 5 000
Volumes par Node 20, souvent moins, car chaque Node dispose de 24 slots PCI partagés entre tous les périphériques

Comme indiqué ci-dessus, les valeurs recommandées sont bien inférieures aux limites strictes. La section 2.2 explique pourquoi la taille recommandée du pool est importante.

2.2 Node immuables et fenêtre de maintenance

Les Node sont immuables. IONOS CLOUD n'installe pas de mises à jour logicielles sur les Node en cours d'exécution ; il les remplace. Lors de la maintenance d'un pool, les Node sont remplacés un par un, en commençant par le plus ancien : un nouveau Node est créé, l'ancien est vidangé puis supprimé. Le pool est verrouillé jusqu'à la fin des travaux.

La fenêtre de maintenance commence à l'heure définie et reste ouverte pendant quatre heures. Les Node qui ne sont pas reconstruits dans cette fenêtre sont remplacés lors de la prochaine maintenance planifiée, raison pour laquelle des pools de 20 Node maximum sont recommandés. Les mises à jour de version sont à votre initiative ; les pools de Node peuvent exécuter une version de Kubernetes plus ancienne que le plan de contrôle, mais les versions mineures ne doivent pas différer de plus de 1. Une version trop ancienne pour être prise en charge est mise à jour de force, et les utilisateurs concernés reçoivent généralement une notification de support deux semaines à l'avance.

Trois règles de conception en découlent. Chaque charge de travail doit tolérer la vidange d'un Node, il convient donc de définir des Pod Disruption Budgets qui permettent la progression. Les Node des pools publics reçoivent de nouvelles adresses IP publiques lorsqu'ils sont remplacés ; pré-spécifiez une liste d'adresses IP publiques afin que les nouveaux Node en prennent une depuis un ensemble connu qu'une liste d'autorisation partenaire peut conserver. Et une reconstruction nécessite une marge : pendant qu'un Node défaillant est reconstruit, le pool dispose d'un Node actif supplémentaire facturable, et la reconstruction nécessite une quota de serveurs.

2.3 Le plancher de l'auto-mise à l'échelle

L'auto-metteur à l'échelle du cluster ajoute des Node lorsque des pods ne peuvent pas être planifiés pour manque de ressources, et supprime les Node sous-utilisés pendant une période prolongée lorsque leurs pods peuvent être accueillis ailleurs. Vous définissez un minimum et un maximum par pool, entre 1 et 100. L'auto-metteur à l'échelle ne sort jamais de ces limites, ne dépasse jamais la quota contractuelle, et ne peut pas réduire un pool à 0 Node. Les pools avec et sans auto-mise à l'échelle peuvent partager un cluster.

Il n'y a pas de mise à l'échelle à zéro. Le plancher de chaque pool auto-mis à l'échelle est un Node chaud que vous payez en continu, de sorte qu'un cluster avec de nombreux petits pools auto-mis à l'échelle a un coût d'inactivité élevé. Gardez le nombre de pools faible et placez les travaux par lots intermittents dans un pool dont le minimum est de 1. La réduction d'échelle comporte également des obstacles : les pods avec stockage local tels que emptyDir la bloquent à moins qu'ils ne portent l'annotation cluster-autoscaler.kubernetes.io/safe-to-evict: "true", et les Node exécutant uniquement des DaemonSet ou des pods système ne peuvent pas être supprimés.

3. Les quatre limites

3.1 Un Service de type LoadBalancer est une IP statique sur un Node unique

Un Service de type LoadBalancer ne provisionne pas d'équilibreur de charge externe. IONOS CLOUD attribue une adresse IP publique statique pré-réservée, ou en réserve une nouvelle, et l'attache en tant qu'adresse IP secondaire à un seul worker node. Ce Node agit en tant que nœud d'entrée (ingress), et kube-proxy transfère le trafic vers le pod correct. Si vous ne spécifiez pas de loadBalancerIP, l'adresse est libérée lorsque le service est supprimé.

Les conséquences sont mesurables. Tout Node unique fournit jusqu'à 2 Gbit/s sur son interface publique. Lorsque kube-proxy transfère vers un autre Node, l'opération NAT remplace l'IP du client par une IP de Node interne ; externalTrafficPolicy: Local la préserve, mais dans ce cas, l'IP doit se situer sur un Node qui exécute le pod d'entrée. La mise à l'échelle au-delà d'un seul Node signifie plusieurs adresses IP LB réparties sur les Nodes d'entrée et publiées dans DNS. Les pools de Nodes privés ne prennent pas du tout en charge le type LoadBalancer.

Le schéma consiste donc en un contrôleur d'entrée unique exposé en tant que seul service LoadBalancer, sur des adresses IP réservées dans la gestion des IP, avec un Application Load Balancer (ALB) provisionné séparément en amont lorsque vous avez besoin d'un routage géré de couche 7 (Unité 3.3). L'Unité 6.2 le construit.

3.2 Deux chemins de journaux, tous deux à configurer

Les événements du Cluster vous parviennent par deux chemins distincts. La journalisation d'audit est un paramètre du Cluster : lorsqu'elle est activée, les journaux d'audit sont stockés dans un bucket IONOS Cloud Object Storage existant que vous nommez. Les journaux des applications et des Nodes atteignent le Logging Service uniquement si vous les transmettez : un agent Fluent Bit que vous déployez dans le Cluster les envoie vers un pipeline de journalisation avec la source de journaux Kubernetes. Aucun des deux chemins n'est activé par défaut, donc la conception de l'observabilité doit nommer le bucket, le pipeline et qui lit chacun d'eux.

3.3 La filtration réseau s'arrête au pool de Nodes

Les Nodes des pools de Nodes Managed Kubernetes ne peuvent pas être ajoutés à des Network Security Groups (NSG), de sorte que les groupes de sécurité de couche de l'Unité 3.2 n'atteignent pas le Cluster. La filtration se déplace vers trois autres endroits :

Couche Contrôle
API Kubernetes Les IP autorisées sur le Cluster restreignent l'accès à l'API à une plage d'adresses IP ; vide signifie accès depuis n'importe où
Trafic entre les pods Politiques réseau Kubernetes, appliquées par Calico
Trafic en provenance de l'extérieur L'ALB en amont, et les cibles qu'il peut atteindre (Unité 3.3)
Qui gère le Cluster Attributions de groupe IAM sur le Cluster, et le privilège Créer des Clusters Kubernetes (Unité 2.2)

Comme indiqué ci-dessus, la filtration d'un Cluster réside dans les objets Kubernetes et dans les services de bord, et non dans le modèle de pare-feu VDC. Commencez chaque espace de noms par une politique réseau par défaut de refus et autorisez explicitement les flux.

3.4 La conformité couvre le service, pas vos charges de travail

Managed Kubernetes est dans le champ d'application du certificat ISO 27001 sur la base de IT-Grundschutz, BSI-IGZ-0730-2025, qui couvre le provisionnement et l'exploitation du service par IONOS SE en Allemagne (Unité 1.4). Pour BSI C5, confirmez le service dans le rapport d'attestation avant de le citer. Dans tous les cas, l'attestation décrit comment IONOS CLOUD exploite la plateforme. Vos images, espaces de noms, règles RBAC, politiques réseau et secrets sont vos contrôles, et votre dossier de preuves doit les couvrir séparément.

4. Placement et souveraineté du plan de contrôle

Vous créez des clusters à Francfort-sur-le-Main (de/fra) ou aux États-Unis : Newark (us/ewr), Las Vegas (us/las) et Lenexa (us/mci). Le plan de contrôle s'exécute dans la région que vous choisissez, et l'emplacement ne peut pas être modifié ultérieurement. Un cluster avec des pools de nœuds privés est lié à une région, et ses pools de nœuds doivent se trouver dans des VDC situés au même endroit que le cluster.

Pour une conception souveraine, le filtre d'emplacement de l'Unité 1.4 s'applique au plan de contrôle ainsi qu'aux nœuds : l'API Kubernetes et ses secrets résident là où réside le plan de contrôle, et sa piste d'audit se trouve dans le bucket Object Storage que vous désignez pour la journalisation d'audit. FinCorp crée donc des clusters uniquement dans de/fra.

La disposition de FinCorp découle des sections 1 à 3. Un cluster public, fc-k8s-portal, exécute les services du portail et de l'API partenaire dans fc-prod-fra-core derrière l'ALB fc-alb-edge (Unité 6.2). Un cluster privé, fc-k8s-ai, exécute les workers de récupération et d'inférence dans fc-prod-fra-ai, sans adresses de nœuds publiques (Unité 6.3). Les deux utilisent des pools Dedicated Core, un par zone, d'au maximum 20 nœuds, afin que la maintenance s'achève dans sa fenêtre et que les cœurs engagés puissent être intégrés à un Savings Plan.

Résumé des décisions

Décision Choix Raison
Nombre de clusters Un par zone de confiance (bordure publique, IA privée) Le plan de contrôle est gratuit ; les clusters ne coûtent que leurs Node
Forme du pool de Node Un pool par forme et par zone Les cœurs, la RAM, la zone et le type de stockage sont fixes à la création
Taille du pool Au maximum 20 Node La maintenance remplace les Node dans une fenêtre de quatre heures
Mise à l'échelle automatique Peu de pools à mise à l'échelle automatique, minimum 1 Pas de mise à l'échelle à zéro ; chaque pool à mise à l'échelle automatique conserve un Node chaud
Exposition Un contrôleur d'ingress en tant que seul service LoadBalancer, avec un ALB en amont Un service LoadBalancer est une IP statique sur un Node ; les pools privés ne le prennent pas en charge
Filtrage IP autorisées, politiques réseau, autorisations IAM Les Node d'un pool de Node ne peuvent pas être membres d'un NSG
Journaux Journaux d'audit vers un bucket, Fluent Bit vers le Logging Service Les deux chemins doivent être configurés par vous
Emplacement de/fra pour FinCorp Le plan de contrôle s'exécute dans la région choisie, fixé à la création

Résumé

Managed Kubernetes vous offre un plan de contrôle gratuit, masqué et géorédundant dans la région de votre choix, et place tout le reste de votre VDC en tant que pools de nœuds de serveurs Compute Engine immuables. Concevez les pools autour d'un modèle qui ne peut pas être modifié, d'une fenêtre de maintenance de quatre heures et d'un plancher d'auto-ajustement d'un nœud. Puis placez les contrôles qu'une conception VM considère comme acquis : un ALB au lieu d'un service LoadBalancer, votre propre câblage des journaux, des politiques réseau au lieu de NSGs, et des preuves pour vos charges de travail à côté du certificat du fournisseur.

Points clés :

  • Le plan de contrôle est gratuit ; les pools de nœuds sont des serveurs Compute Engine facturés selon les conditions Compute Engine.
  • Les cœurs, la RAM, la zone et le type de stockage d'un pool sont fixes à la création ; les nœuds sont remplacés, jamais corrigés.
  • Les pools auto-ajustés vont de 1 à 100 nœuds et ne passent jamais à zéro.
  • Un service LoadBalancer attache une IP statique à un nœud, avec un débit maximal de 2 Gbit/s par nœud ; les pools privés ne le prennent pas en charge.
  • Les nœuds d'un pool de nœuds ne peuvent pas rejoindre des NSGs ; filtrez avec des IP autorisées, des politiques réseau Calico et les services d'extrémité.

Terminologie importante :

  • Nœud d'entrée : le nœud de travail qui détient l'IP statique d'un service LoadBalancer en tant qu'adresse secondaire et transfère son trafic.
  • Modèle de nœud : le type de serveur et les paramètres matériels d'un pool de nœuds, définis lors de la création du pool.