Einheit 6.1: Design der Kubernetes-Plattform
Einführung
Managed Kubernetes teilt einen Cluster in zwei Hälften mit unterschiedlichen Verantwortlichen auf. Die Steuerungsebene wird von IONOS CLOUD betrieben, unsichtbar für Sie. Die Node Pools sind Server in Ihrem eigenen VDC, und die meisten Gestaltungsentscheidungen fallen dort an: ihre Struktur, ihr Netzwerk, ihre Wartung und ihre Kosten.
Die Gestaltungsaufgabe besteht darin zu wissen, wo jede der beiden Hälften endet. Ein LoadBalancer-Service, ein Log-Stream, eine Security Group oder eine Compliance-Aussage, die auf einer VM funktioniert, kann sich in einem Cluster anders verhalten. Diese Einheit legt das Verhalten der Plattform und die Grenzen fest und definiert das Cluster-Layout von FinCorp. Die Einheiten 6.2 und 6.3 setzen es um.
1. Zwei Hälften: Steuerungsebene und Node Pools
1.1 Was Sie bezahlen und was abgedeckt ist
Die Steuerungsebene ist kostenlos. Sie zahlen für die Infrastruktur, die der Cluster verwendet: Die Nodes sind Compute Engine Server mit Block Storage Volumes, die in Ihrem VDC bereitgestellt werden. Ein zusätzlicher Cluster verursacht daher keine Kosten für die Steuerungsebene; seine Kosten liegen in den Nodes. Dedizierte Core Node Pools sind für Cloud Savings Plans qualifiziert (Einheit 2.4).
Die Service Levels folgen derselben Aufteilung. Die SLA für die Verfügbarkeit pro Service von 99,95 Prozent deckt die Steuerungsebene ab, wobei die Kubernetes API ihren Geltungsbereich bildet. Die Node Pools unterliegen den Bedingungen von Compute Engine, da es sich um Compute Engine Server handelt. Tragen Sie beide Zeilen in das Verfügbarkeitsdesign ein: Ein Ausfall der API stoppt Änderungen am Cluster, während laufende Workloads von den Nodes abhängen.
1.2 Die verborgene regionale Steuerungsebene
Die Komponenten der Steuerungsebene, wie kube-apiserver, kube-scheduler und kube-controller-manager, sind für Sie nicht sichtbar und können nicht geändert werden. Sie erreichen kube-apiserver nur über ihre REST API. Die Steuerungsebene läuft auf VMs in einem geografisch redundanten Cluster in der gewählten Region, und der Verkehr zwischen den Nodes und der Steuerungsebene wird durch gegenseitiges TLS gesichert.
Zwei ihrer Eigenschaften sind feste Eingaben für Ihr Design. Erstens läuft jeder Cluster mit zwei kube-apiserver Replikaten, jeweils mit 8 GiB Arbeitsspeicher, und ein Replikat, das das Limit erreicht, wird neu gestartet. Workloads laufen weiter, aber Operator und Controller, die von der API abhängen, können gestört werden; sehr große Objektzahlen und starker List Traffic sind daher ein Designrisiko. Zweitens ist das Container Network Interface (CNI) Calico, und Sie können kein anderes wählen oder installieren. Calico stellt auch Kubernetes Netzwerkrichtlinien bereit, was in Abschnitt 3.3 relevant ist.
2. Design von Node-Pools
2.1 Das Node-Template ist eine Entscheidung zum Erstellungszeitpunkt
Ein Node-Pool ist eine Gruppe von Nodes, die eine gemeinsame Konfiguration teilen. Das Node-Template legt den Servertyp, Dedicated Core oder vCPU, sowie die Anzahl der Kerne, den RAM, die Verfügbarkeitszone, den Speichertyp (Essential oder Performance) und die Speichergröße fest. Unabhängig vom Servertyp entspricht 1 provisionierter Kern 2 CPUs in Managed Kubernetes.
Kerne, RAM, Verfügbarkeitszone und Speichertyp können nach der Erstellung des Pools nicht mehr geändert werden; der Servertyp eines bestehenden Pools kann zwischen Dedicated Core und vCPU umgestellt werden. Eine neue Node-Konfiguration bedeutet daher einen neuen Pool: Erstellen Sie diesen, verschieben Sie die Workloads mithilfe von Labels, Taints und Node Selectors und löschen Sie den alten Pool. Dasselbe Prinzip macht das Zonen-Design explizit. Da die Verfügbarkeitszone ein Feld im Template ist, benötigt ein Cluster, das den Verlust einer Zone überstehen muss, einen Pool pro Zone.
Die Service-Limits setzen den äußeren Rahmen:
| Limit | Wert |
|---|---|
| Pods pro Node | 110 (der Kubernetes-Standard) |
| Nodes pro Node-Pool | 100; 20 empfohlen |
| Node-Pools pro Cluster | 500; 50 empfohlen |
| Nodes pro Cluster | 5.000 |
| Volumes pro Node | 20, oft weniger, da jeder Node 24 PCI-Slots hat, die von allen Peripheriegeräten geteilt werden |
Wie oben gezeigt, liegen die empfohlenen Werte weit unter den harten Limits. Abschnitt 2.2 erklärt, warum die empfohlene Poolgröße wichtig ist.
2.2 Immutable Nodes und das Wartungsfenster
Nodes sind immutable. IONOS CLOUD installiert keine Software-Updates auf laufenden Nodes, sondern ersetzt sie. Während der Wartung eines Pools werden die Nodes nacheinander ersetzt, beginnend mit dem ältesten: Ein neuer Node wird erstellt, der alte wird drainiert und anschließend gelöscht. Der Pool ist gesperrt, bis die Arbeit abgeschlossen ist.
Das Wartungsfenster beginnt zum von Ihnen gesetzten Zeitpunkt und bleibt vier Stunden geöffnet. Nodes, die innerhalb des Fensters nicht neu aufgebaut werden, werden beim nächsten geplanten Wartungstermin ersetzt, weshalb Pools mit maximal 20 Nodes empfohlen werden. Versions-Updates werden von Ihnen gestartet; Node-Pools können eine ältere Kubernetes-Version als die Steuerungsebene ausführen, aber die Minor-Versionen dürfen sich um nicht mehr als 1 unterscheiden. Eine Version, die zu alt ist, um unterstützt zu werden, wird erzwungen aktualisiert, und betroffene Benutzer erhalten in der Regel zwei Wochen vorher eine Support-Benachrichtigung.
Daraus folgen drei Designregeln. Jeder Workload muss ein Node-Drain tolerieren können, daher sollten Pod Disruption Budgets gesetzt werden, die Fortschritt ermöglichen. Nodes in öffentlichen Pools erhalten neue öffentliche IP-Adressen, wenn sie ersetzt werden; spezifizieren Sie vorab eine Liste öffentlicher IP-Adressen, damit neue Nodes ihre Adressen aus einem bekannten Satz beziehen, den eine Partner-Allowlist enthalten kann. Und ein Neuaufbau benötigt Puffer: Während ein fehlgeschlagener Node neu aufgebaut wird, hat der Pool einen zusätzlichen abrechenbaren aktiven Node, und der Neuaufbau benötigt Server-Quota.
2.3 Die Untergrenze des Autoscalings
Der Cluster-Autoscaler fügt Nodes hinzu, wenn Pods aufgrund fehlender Ressourcen nicht eingeplant werden können, und entfernt Nodes, die über einen längeren Zeitraum unterausgelastet sind, wenn ihre Pods anderswo Platz finden. Sie setzen ein Minimum und ein Maximum pro Pool, zwischen 1 und 100. Der Autoscaler bewegt sich nie außerhalb dieser Grenzen, überschreitet nie das Vertrags-Quota und kann einen Pool nicht auf 0 Nodes reduzieren. Pools mit und ohne Autoscaling können ein Cluster teilen.
Es gibt kein Scale-to-Zero. Die Untergrenze jedes autoskalierten Pools ist ein warmer Node, für den Sie rund um die Uhr bezahlen, sodass ein Cluster mit vielen kleinen autoskalierten Pools hohe Leerlaufkosten hat. Halten Sie die Anzahl der Pools klein und legen Sie burstige Batch-Workloads in einen Pool mit einem Minimum von 1. Scale-down hat auch Blockaden: Pods mit lokalem Speicher wie emptyDir blockieren es, es sei denn, sie tragen die Annotation cluster-autoscaler.kubernetes.io/safe-to-evict: "true", und Nodes, die nur DaemonSet- oder System-Pods ausführen, dürfen nicht entfernt werden.
3. Die vier Grenzen
3.1 Ein LoadBalancer-Service ist eine statische IP auf einem Node
Ein Service vom Typ LoadBalancer provisioniert keinen externen Load Balancer. IONOS CLOUD weist eine vorreservierte statische öffentliche IP-Adresse zu oder reserviert eine neue und hängt sie als sekundäre IP-Adresse an einen Worker-Node. Dieser Node fungiert als Ingress-Node, und kube-proxy leitet den Traffic an das korrekte Pod weiter. Wenn Sie keine loadBalancerIP angeben, wird die Adresse beim Löschen des Services freigegeben.
Die Auswirkungen sind messbar. Jeder einzelne Node bietet an seiner öffentlichen Schnittstelle bis zu 2 Gbit/s. Wenn kube-proxy an einen anderen Node weiterleitet, ersetzt die NAT-Operation die Client-IP durch eine interne Node-IP; externalTrafficPolicy: Local erhält sie bei, aber dann muss die IP auf einem Node sitzen, der das Ingress-Pod ausführt. Skalierung über einen Node hinaus bedeutet mehrere LB-IP-Adressen, die auf Ingress-Nodes verteilt und in DNS veröffentlicht werden. Private Node-Pools unterstützen den LoadBalancer-Typ überhaupt nicht.
Das Muster besteht daher aus einem Ingress-Controller, der als einziger LoadBalancer-Service auf in IP Management reservierten IP-Adressen ausgesetzt wird, mit einem separat provisionierten Application Load Balancer (ALB) davor, falls Sie verwaltetes Layer-7-Routing benötigen (Einheit 3.3). Einheit 6.2 baut dies auf.
3.2 Zwei Log-Pfade, beide in Ihrer Verantwortung
Cluster-Ereignisse erreichen Sie über zwei separate Pfade. Audit-Logging ist eine Cluster-Einstellung: Wenn aktiviert, werden Audit-Logs in einem bestehenden IONOS Cloud Object Storage-Bucket gespeichert, den Sie benennen. Anwendungs- und Node-Logs erreichen den Logging Service nur, wenn Sie sie versenden: Ein Fluent Bit-Agent, den Sie im Cluster deployen, sendet sie an eine Logging-Pipeline mit der Kubernetes-Logquelle. Keiner der Pfade ist standardmäßig aktiviert, daher muss das Observability-Design den Bucket, die Pipeline und den Leser für jeden Pfad benennen.
3.3 Netzwerkfilterung endet am Node-Pool
Nodes von Managed Kubernetes-Node-Pools können nicht zu Network Security Groups (NSGs) hinzugefügt werden, daher erreichen die Tier-Sicherheitsgruppen aus Einheit 3.2 den Cluster nicht. Die Filterung verschiebt sich an drei andere Orte:
| Schicht | Steuerung |
|---|---|
| Kubernetes API | Allowed IPs am Cluster beschränken den API-Zugriff auf einen IP-Adressbereich; leer bedeutet Zugriff von überall |
| Traffic zwischen Pods | Kubernetes-Netzwerkrichtlinien, durchgesetzt durch Calico |
| Traffic von außen | Der ALB davor und die Ziele, die er erreichen kann (Einheit 3.3) |
| Wer den Cluster verwaltet | IAM-Gruppenberechtigungen am Cluster und das Create Kubernetes Clusters-Privileg (Einheit 2.2) |
Wie oben gezeigt, lebt die Filterung eines Clusters in Kubernetes-Objekten und in den Edge-Diensten, nicht im VDC-Firewall-Modell. Beginnen Sie jeden Namespace mit einer default-deny-Netzwerkrichtlinie und erlauben Sie Flows explizit.
3.4 Compliance deckt den Service ab, nicht Ihre Workloads
Managed Kubernetes liegt im Geltungsbereich des ISO 27001-Zertifikats auf Basis von IT-Grundschutz, BSI-IGZ-0730-2025, das die Bereitstellung und den Betrieb des Dienstes durch IONOS SE in Deutschland abdeckt (Einheit 1.4). Für BSI C5 bestätigen Sie den Dienst im Attestierungsbericht, bevor Sie ihn zitieren. In beiden Fällen beschreibt die Zertifizierung, wie IONOS CLOUD die Plattform betreibt. Ihre Images, Namespaces, RBAC-Regeln, Netzwerkrichtlinien und Secrets sind Ihre Kontrollen, und Ihr Evidenzpaket muss sie separat abdecken.
4. Platzierung und Souveränität der Steuerungsebene
Sie erstellen Cluster in Frankfurt am Main (de/fra) oder in den Vereinigten Staaten: Newark (us/ewr), Las Vegas (us/las) und Lenexa (us/mci). Die Steuerungsebene läuft in der Region, die Sie auswählen, und der Standort kann später nicht geändert werden. Ein Cluster mit privaten Node-Pools ist an eine Region gebunden, und seine Node-Pools müssen sich in VDCs am selben Standort wie das Cluster befinden.
Für ein souveränes Design gilt der Standortfilter aus Einheit 1.4 sowohl für die Steuerungsebene als auch für die Nodes: Die Kubernetes API und ihre Secrets befinden sich dort, wo die Steuerungsebene läuft, und ihr Audit-Trail befindet sich im Object Storage-Bucket, den Sie für die Audit-Protokollierung angeben. FinCorp erstellt daher Cluster nur in de/fra.
Das Layout von FinCorp ergibt sich aus den Abschnitten 1 bis 3. Ein öffentliches Cluster, fc-k8s-portal, betreibt die Portal- und Partner-API-Dienste in fc-prod-fra-core hinter dem ALB fc-alb-edge (Einheit 6.2). Ein privates Cluster, fc-k8s-ai, betreibt die Abruf- und Inferenz-Worker in fc-prod-fra-ai, ohne öffentliche Node-Adressen (Einheit 6.3). Beide verwenden Dedicated Core-Pools, einen pro Zone, mit höchstens 20 Nodes, damit die Wartung innerhalb ihres Zeitfensters abgeschlossen wird und die reservierten Kerne in einem Savings Plan platziert werden können.
Zusammenfassung der Entscheidungen
| Entscheidung | Wahl | Begründung |
|---|---|---|
| Anzahl der Cluster | Eines pro Vertrauenszone (öffentliche Kante, private KI) | Die Steuerungsebene ist kostenlos; Cluster kosten nur ihre Knoten |
| Form des Node-Pools | Ein Pool pro Form und pro Zone | Kerne, RAM, Zone und Speicherart sind bei der Erstellung festgelegt |
| Poolgröße | Maximal 20 Knoten | Wartung ersetzt Knoten innerhalb eines Zeitfensters von vier Stunden |
| Autoscaling | Wenige automatisch skalierte Pools, Minimum 1 | Kein Scale-to-zero; jeder automatisch skalierte Pool behält einen warmen Knoten |
| Exposition | Ein Ingress-Controller als einziger LoadBalancer-Dienst, ALB davor | Ein LoadBalancer-Dienst ist eine statische IP auf einem Knoten; private Pools unterstützen ihn nicht |
| Filterung | Erlaubte IPs, Netzwerkrichtlinien, IAM-Berechtigungen | Knoten in Node-Pools können keine NSG-Mitglieder sein |
| Protokolle | Audit-Protokolle in einen Bucket, Fluent Bit in den Logging Service | Beide Pfade müssen von Ihnen konfiguriert werden |
| Standort | de/fra für FinCorp |
Die Steuerungsebene läuft in der gewählten Region, festgelegt bei der Erstellung |
Zusammenfassung
Managed Kubernetes bietet Ihnen eine kostenlose, verborgene, geografisch redundant ausgelegte Steuerungsebene in der Region Ihrer Wahl und stellt alles andere in Ihrem VDC als Knotenpools aus unveränderlichen Compute Engine-Servern bereit. Gestalten Sie die Pools auf der Grundlage einer Vorlage, die nicht geändert werden kann, eines vierstündigen Wartungsfensters und eines Autoscaling-Mindestwerts von einem Knoten. Verwenden Sie dann die Steuerelemente, die bei einem VM-Design selbstverständlich sind: ein ALB anstelle eines LoadBalancer-Dienstes, Ihre eigene Log-Konfiguration, Netzwerkrichtlinien anstelle von NSGs und Nachweise für Ihre Workloads neben dem Zertifikat des Anbieters.
Wichtige Punkte:
- Die Steuerungsebene ist kostenlos; Knotenpools sind abzurechnende Compute Engine-Server gemäß den Bedingungen von Compute Engine.
- Kerne, RAM, Zone und Speicherart eines Pools werden bei der Erstellung festgelegt; Knoten werden ersetzt, niemals gepatcht.
- Autoskalierte Pools umfassen 1 bis 100 Knoten und skalieren nie auf null.
- Ein LoadBalancer-Dienst weist einem Knoten eine statische IP zu, mit bis zu 2 Gbit/s pro Knoten; private Pools werden nicht unterstützt.
- Knoten eines Knotenpools können NSGs nicht beitreten; filtern Sie mit erlaubten IPs, Calico-Netzwerkrichtlinien und den Edge-Diensten.
Wichtige Begriffe:
- Ingress-Knoten: Der Worker-Knoten, der die statische IP eines LoadBalancer-Dienstes als sekundäre Adresse hält und dessen Verkehr weiterleitet.
- Knoten-Vorlage: Der Servertyp und die Hardwareeinstellungen eines Knotenpools, festgelegt bei der Erstellung des Pools.