Einheit 6.2: Bereitstellung eines öffentlichen Clusters
Einführung
Einheit 6.1 hat die Regeln festgelegt: Ein LoadBalancer-Dienst ist eine statische IP auf einem Knoten, Knoten werden bei jeder Wartung ersetzt, und die Filterung erfolgt im Cluster und am Rand. Diese Einheit wandelt sie in den öffentlichen Cluster fc-k8s-portal von FinCorp in fc-prod-fra-core um.
Die Entscheidungen, die nicht rückgängig gemacht werden können, stehen an erster Stelle: Zugriff auf den Knotenpool, Standort und die Vorlage jedes Pools. Die Einheit endet mit dem im DCD aufgebauten Cluster, der mit dem ALB fc-alb-edge aus Einheit 3.3 verbunden ist.
1. Zwei Möglichkeiten, ein öffentliches Cluster freizugeben
1.1 Direkte Freigabe auf reservierten IPs
Öffentliche Node Pools weisen jedem Node eine externe IP-Adresse zu. Die einfachste Freigabe ist ein Ingress-Controller-Service vom Typ LoadBalancer auf einer in IP Management reservierten IP-Adresse. Die Reservierung außerhalb von Kubernetes bewahrt die Adresse, wenn der Service gelöscht wird, und eine vorab reservierte loadBalancerIP ist der Grund, warum DNS-Einträge stabil bleiben.
Diese Option ist kostengünstig, erbt aber alle Eigenschaften aus Abschnitt 3.1 von Einheit 6.1: Ein Node trägt die IP, maximal 2 Gbit/s pro Node, Client-IPs gehen verloren, sofern externalTrafficPolicy: Local nicht gesetzt ist, und das Skalieren erfolgt über zusätzliche IPs in DNS. Um die Client-IP zu erhalten, führen Sie den Ingress-Controller nur auf einem beschrifteten Ingress-Node-Pool aus und versehen Sie seinen Service mit der Annotation cloud.ionos.com/node-selector, damit die IP auf einem Node landet, der den Controller ausführt.
1.2 Der ALB vor dem Cluster
Die verwaltete Alternative ist der separat bereitgestellte ALB. Manifeste erstellen ihn nicht; Sie bauen ihn im VDC auf und richten seine Target Group auf die Nodes. Die Node Pools treten dem privaten LAN fc-app bei, in dem bereits das Backend des ALB sitzt, und der Ingress-Controller lauscht auf einem Node-Port auf jedem Node. Der ALB terminiert dann TLS, wendet die Host- und Pfadregeln aus Einheit 3.3 an und prüft die Gesundheit, während der Ingress-Controller innerhalb des Clusters routet.
| Option | Vorteile | Nachteile | Geeignet für |
|---|---|---|---|
| Ingress-Controller als LoadBalancer auf einer reservierten IP | Keine zusätzliche Komponente; stabile Adresse | Ein Node pro IP; 2 Gbit/s pro Node; Client-IP benötigt externalTrafficPolicy: Local |
Interne Tools, Partner-Endpunkte mit moderatem Traffic |
| ALB vor dem Ingress-Controller | Verwaltetes TLS, Layer-7-Regeln, Health Checks, eine Kante für VMs und Cluster | Eine Target-Liste, die bei Node-Ersatz gepflegt werden muss | Kundenorientierte Portale und APIs |
Wie oben gezeigt, ist der ALB die Wahl für das Portal von FinCorp: Er ist dieselbe Kante, die bereits fc-tg-portal und fc-tg-api bedient, sodass das Cluster zu einer weiteren Target Group wird, statt einen zweiten Internet-Einstiegspunkt zu bilden.
1.3 Speicher für stateful Pods
Der CSI-Treiber läuft in der Steuerungsebene, erstellt Block Storage Volumes für Persistent Volume Claims (PVCs) und hängt sie an Nodes an. Der Name seines Provisioners ist cloud.ionos.com, und eine Storage Class legt den Volume-Typ, das Dateisystem und die Verfügbarkeitszone der von ihr erstellten Volumes fest. Definieren Sie Storage Classes mit volumeBindingMode: WaitForFirstConsumer, was die Volume-Erstellung verzögert, bis ein Pod eingeplant ist, und geben Sie jedem Pool einer Zone eine Class mit der passenden Zone. Dynamisch bereitgestellte Volumes werden vom CSI-Treiber verwaltet: Sie können sie nach dem Löschen des PV nicht selbst löschen, und eine Retain Reclaim Policy hinterlässt sie für manuelle Bereinigung.
DCD-Implementierung: Schritt-für-Schritt-Anleitung
Sie erstellen fc-k8s-portal mit öffentlichen Node Pools in Frankfurt, einen Dedicated Core Pool pro Zone im fc-app LAN und verbinden ihn mit fc-alb-edge. Damit wird die Option „ALB in Front“ aus Abschnitt 1.2 umgesetzt.
Voraussetzungen: das Privileg Create Kubernetes Clusters (oder die Rolle Administrator); das VDC fc-prod-fra-core mit dem fc-app LAN (Einheit 3.1); der ALB fc-alb-edge (Einheit 3.3); ein vorhandener Object Storage Bucket für Audit-Logs, hier fc-k8s-audit-fra (Einheit 5.2); eine reservierte IPv4-Adresse in Frankfurt für das Feld Reserved IP address des Node Pools, reserviert unter Menu > Network Services > IP Management.
Ziel: Aufbau eines öffentlichen Clusters von Anfang bis Ende.
Schritte (im Data Center Designer):
- Gehen Sie zu Menu > Containers > Managed Kubernetes und wählen Sie Create cluster. Geben Sie den Name
fc-k8s-portalein und wählen Sie die Kubernetes version. Wählen Sie die neueste stabile Version, um die Zeit bis zum End of Life des Clusters zu maximieren. - Unter Location and network access wählen Sie Public als Node pool access und Frankfurt am Main (de/fra) als Location. Beide Einstellungen können später nicht geändert werden, und der Node Pool Zugriff kann nicht zwischen öffentlich und privat umgestellt werden.
- Unter Additional settings aktivieren Sie Audit logging und geben Sie
fc-k8s-audit-fraals Target Object Storage bucket ein. Unter Allowed IPs geben Sie den Adressbereich ein, aus dem FinCorp das Cluster verwaltet; ein leeres Feld erlaubt API-Zugriffe von überall. Setzen Sie Maintenance window Day und Start time (UTC) auf das Änderungsfenster von FinCorp. - Wählen Sie Create cluster. Der Status bleibt Deploying, bis das Cluster erstellt ist; fügen Sie Node Pools hinzu, sobald es Active ist.
- Wählen Sie das Cluster, öffnen Sie den Tab Node pools und wählen Sie Add node pool. Geben Sie den Node pool name
fc-np-portal-z1, die Kubernetes version, das Virtual data centerfc-prod-fra-coreund die Reserved IP address ein. Unter Node count wählen Sie Auto-scale mit einem Minimum von 2 und einem Maximum innerhalb der Empfehlung von 20 Nodes. - Unter Connection via private LAN wählen Sie das LAN
fc-appund lassen Sie DHCP aktiviert. Node Pools können nur privaten LANs beitreten, und sie erhalten ihre LAN-Adresse über DHCP. - Unter Node template lassen Sie Server type auf Dedicated Core, wählen Sie Cores und RAM (GB), setzen Sie Availability zone auf Zone 1, wählen Sie Performance als Storage type und setzen Sie Storage size (GB). Mit Ausnahme des Server Typs können diese Einstellungen nach der Erstellung nicht geändert werden.
- Unter Advanced settings fügen Sie das Label
nodepool=portalhinzu und setzen Sie das Maintenance window des Pools. Wählen Sie Create node pool. Wiederholen Sie die Schritte 5 bis 8 fürfc-np-portal-z2in Zone 2. - Öffnen Sie den Tab Security des Clusters, wählen Sie Visible to Groups und geben Sie
fc-prod-platform-opsdas Edit-Kontrollkästchen (Einheit 2.2). - In der Clusterliste öffnen Sie die Spalte OPTIONS und wählen Sie Download kubeconfig.yaml. Nur Administratoren können die kubeconfig abrufen, bevor ein Node Pool existiert.
- Mit
kubectlwenden Sie die untenstehende Storage Class an und installieren dann den Ingress Controller mit einem Service vom Typ NodePort auf den Nodes mit dem Labelnodepool=portal. - Gehen Sie zu Menu > Network Services > Target Groups und erstellen Sie
fc-tg-k8smit denfc-appAdressen der Nodes und dem Ingress Node Port, mit aktiviertem Health Check Enabled. Auffc-alb-edgefügen Sie eine Forward-Regel für den Host oder Pfad des Clusters zufc-tg-k8shinzu, wie in Einheit 3.3.
Die Storage Class enthält die Zonenentscheidung. Ihre parameters stammen aus dem dokumentierten Beispiel des CSI-Treibers; der Name und die Zone entsprechen dem ersten Pool von FinCorp:
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: fc-performance-zone-1
provisioner: cloud.ionos.com
parameters:
type: Performance
fstype: ext4
availabilityZone: ZONE_1
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
Häufige Fehler:
- Die Erwartung, dass ein
type: LoadBalancer-Manifest einen ALB oder NLB erstellt. Es weist einem einzelnen Knoten eine statische IP zu; der ALB wird separat erstellt. - Die Reservierung der Ingress-IP durch Kubernetes. Ohne eine vorab reservierte
loadBalancerIPwird die Adresse beim Löschen des Dienstes freigegeben, und DNS bricht ab. - Die Behandlung der ALB-Zielliste als statisch. Wartungsarbeiten ersetzen Knoten nacheinander, daher die Ziele von
fc-tg-k8snach jeder Wartung prüfen oder deren Aktualisierung automatisieren. - Das Bearbeiten von Knotenservern, NICs oder Volumes im Workspace. Von Kubernetes verwaltete Ressourcen werden schreibgeschützt angezeigt, und manuelle Interaktionen während der Bereitstellung von Knoten können unerwünschte Ergebnisse verursachen.
- Die Erwartung, dass ein Pool zwei Verfügbarkeitszonen abdeckt. Die Verfügbarkeitszone ist Teil der Vorlage; Zonenredundanz erfordert einen Pool pro Zone.
- Erlaubte IPs auf einem Produktivcluster leer lassen. Die Kubernetes API ist dann von überall aus erreichbar.
- Die Installation eines Admission-Webhook-Tools wie Kyverno oder OPA/Gatekeeper, bevor der Cluster Worker-Knoten hat. Die Pods können nicht eingeplant werden, was zu einer Blockade bei der Knotenerstellung führen kann.
Zusammenfassung
Ein öffentlicher Cluster wird entweder über einen Ingress-Controller auf reservierten IPs oder über den ALB davor freigegeben. FinCorp verwendet den ALB, sodass der Cluster dem vorhandenen Edge als eine Zielgruppe beigefügt wird. Der Build legt zunächst die irreversiblen Entscheidungen fest, nämlich den öffentlichen Zugriff und de/fra, und fügt anschließend einen Dedicated Core-Pool pro Zone auf fc-app, eine zonenbewusste Speicherklasse und eine API-Zugriffsliste hinzu.
Wichtige Punkte:
- Der Zugriff und die Lage eines Node-Pools werden bei der Clustererstellung festgelegt; die Vorlage eines Pools ist, abgesehen von seinem Servertyp, bei der Poolerstellung festgelegt.
- Reservieren Sie Ingress-IPs im IP-Management, damit sie beim Löschen eines Dienstes erhalten bleiben.
- Der ALB wird separat bereitgestellt und adressiert die Nodes über den Node-Port des Ingress-Controllers auf einem gemeinsam genutzten privaten LAN.
- Verwenden Sie
WaitForFirstConsumer-Speicherklassen mit demcloud.ionos.com-Provisioner, eine pro Zone. - Legen Sie Audit-Logging, Allowed IPs und das Wartungsfenster bei der Erstellung fest.