Einheit 6.3: Bereitstellung eines privaten Clusters
Einführung
Die Retrieval- und Inference-Worker von FinCorp verarbeiten Kundendokumente, daher dürfen ihre Knoten nicht aus dem Internet erreichbar sein. Ein Cluster mit privaten Node Pools bietet genau das, verändert aber drei Aspekte, auf die Einheit 6.2 angewiesen war: keine öffentlichen Knotenadressen, keine LoadBalancer-Dienste und ein ausgehender Pfad, den der Dienst für Sie erstellt.
Diese Einheit erklärt diese Unterschiede und baut fc-k8s-ai in fc-prod-fra-ai. Schritte, die wie in Einheit 6.2 funktionieren, werden nur referenziert, nicht wiederholt.
1. Was „Privat" bedeutet
1.1 Die Daten-Ebene ist privat; die API ist es nicht
In einem Cluster mit privaten Node-Pools haben die Nodes ausschließlich interne IP-Adressen, sodass Nodes und Pods vom Internet isoliert sind. Die Node-Pools befinden sich in einem privaten Netzwerk hinter einem NAT Gateway, das Verbindungen von den Nodes zum Internet zulässt, aber nicht umgekehrt. Der Verkehr zwischen den Nodes bleibt innerhalb des privaten Netzwerks.
Die Steuerungsebene ist weiterhin dem Internet ausgesetzt. Schützen Sie sie mit Allowed IPs, die den API-Zugriff auf einen IP-Adressbereich einschränken. FinCorp gibt den Bereich seines Verwaltungsnetzwerks und seiner Deployment-Pipeline ein, damit ein geleaktes kubeconfig die API aus keinem anderen Netzwerk erreichen kann.
Zwei Funktionen öffentlicher Pools sind nicht verfügbar. Kubernetes-Dienste vom Typ LoadBalancer werden nicht unterstützt, und statische Node-IP-Adressen werden nicht unterstützt. Eingehender Verkehr zu einem privaten Cluster kommt daher aus dem Inneren Ihres Netzwerks, beispielsweise von VMs oder Load Balancern auf einem privaten LAN, dem auch der Node-Pool beigetreten ist.
1.2 Eine Voraussetzung, zwei Ressourcen, die der Dienst bereitstellt
Das Cluster benötigt vor seiner Existenz eine Sache von Ihnen: eine reservierte IPv4-Adresse, die von keiner anderen Ressource verwendet wird und die zur IP-Adresse des NAT Gateways wird. Der Dienst stellt dann zwei Netzwerkressourcen selbst bereit:
| Ressource | Bereitgestellt von | Zweck |
|---|---|---|
| NAT Gateway | Managed Kubernetes, auf der reservierten NAT-Gateway-IP-Adresse | Ausgehender Verkehr zwischen den Cluster-Nodes und der Steuerungsebene, beispielsweise zum Abrufen von Container-Images |
| Private Cross Connect | Managed Kubernetes, in Ihrem VDC | Node-zu-Node-Kommunikation über alle Node-Pools des Clusters, einschließlich Pools in verschiedenen VDCs |
Wie oben gezeigt, existieren beide Ressourcen, um dem Cluster zu dienen. Dieses NAT Gateway ist nicht für beliebige Nodes vorgesehen, sodass Sie kein zusätzliches privates Netzwerk daran anbinden können; Ihre VMs nutzen weiterhin ihr eigenes NAT Gateway (Einheit 3.6). Von Kubernetes verwaltete Ressourcen werden im DCD schreibgeschützt angezeigt.
Die NAT-Gateway-Adresse ist auch die öffentliche Quelladresse des Clusters. Partner oder Dienste, die FinCorp auf einer Whitelist führen, wie beispielsweise eine externe API, sehen den ausgehenden Verkehr der Nodes von dieser einen Adresse.
1.3 Das Node-Subnetz und die festen Einstellungen
Sie können ein Node-Subnetz für das private LAN definieren, das eine Präfixlänge von /16 haben muss; andernfalls wird ein Standardbereich zugewiesen. Das Subnetz darf die Netzwerke des Clusters für Pods und Dienste nicht schneiden. Für Cluster, die mit Kubernetes 1.30 und höher erstellt wurden, sind dies 100.96.0.0/12 und 100.64.0.0/18. Es sollte auch frei von jedem Bereich sein, den FinCorp routet, da der Adressplan aus Einheit 3.1 die VDCs auf einem Cross Connect umfasst.
Sobald provisioniert, können die Region, die NAT-Gateway-IP-Adresse und das Node-Subnetz nicht mehr geändert werden, und der Node-Pool-Zugriff kann nicht zwischen privat und öffentlich umgeschaltet werden. Ein Cluster für private Node-Pools ist an eine Region gebunden: seine Node-Pools müssen sich in VDCs am selben Ort wie das Cluster befinden, und die Steuerungsebene läuft in dieser Region. Für FinCorp ist das de/fra, was die Kubernetes API, ihre Secrets und ihre Audit-Trail in Deutschland hält (Einheit 6.1, Abschnitt 4).
DCD-Implementierung: Schritt-für-Schritt-Anleitung
Sie reservieren die NAT-Gateway-Adresse und erstellen anschließend fc-k8s-ai mit privaten Node Pools in fc-prod-fra-ai. Die Felder für Node Pools folgen Einheit 6.2; nur die privaten Unterschiede werden vollständig beschrieben.
Voraussetzungen: das Recht Create Kubernetes Clusters; das VDC fc-prod-fra-ai am selben Ort wie das Cluster; der Audit-Bucket fc-k8s-audit-fra (Einheit 6.2); ein freier /16-Bereich im Adressplan von FinCorp, hier 10.30.0.0/16.
Ziel: Erstellen der privaten Variante unter Wiederverwendung der Muster des öffentlichen Clusters, beginnend mit der Netzwerk-Konfiguration.
Schritte (im Data Center Designer):
- Gehen Sie zu Menü > Network Services > IP Management und wählen Sie + Reserve IP Blocks. Geben Sie den Namen
fc-k8s-ai-nat, die Anzahl der IPs1und die Region Frankfurt ein und bestätigen Sie. Weisen Sie diese Adresse nichts anderem zu. - Gehen Sie zu Menü > Containers > Managed Kubernetes, wählen Sie Create cluster und geben Sie den Namen
fc-k8s-aisowie die Kubernetes version ein. - Unter Location and network access wählen Sie Private als Node pool access und Frankfurt am Main (de/fra) als Location. Unter NAT gateway IP address wählen Sie
fc-k8s-ai-nat. Unter Node subnet geben Sie10.30.0.0/16ein. - Unter Additional settings aktivieren Sie Audit logging mit dem Bucket
fc-k8s-audit-fra, geben Sie den Verwaltungs- und Pipeline-Bereich von FinCorp unter Allowed IPs ein und setzen Sie das Maintenance window. Wählen Sie Create cluster und warten Sie, bis der Status Active ist. - Fügen Sie Node Pools hinzu wie in Einheit 6.2, Schritte 5 bis 8, mit diesen Werten: Virtual data center
fc-prod-fra-ai, Namenfc-np-ai-z1undfc-np-ai-z2, ein neues privates LANfc-ai-appunter Connection via private LAN, sowie Dedicated Core-Vorlagen in Zone 1 und Zone 2. - Falls Pods Dienste in
fc-prod-fra-coreerreichen müssen, wählen Sie Attach another private LAN und fügen Sie das LAN des AI-VDC auf dem Cross Connect aus Einheit 3.6 hinzu. Halten Sie dessen DHCP-Bereich getrennt von den anderen VDCs auf diesem Cross Connect. - Öffnen Sie den Tab Security des Clusters, wählen Sie Visible to Groups und erteilen Sie
fc-prod-platform-opsEdit. - In Kubernetes Manager wählen Sie das Cluster, öffnen Sie den Tab Cluster Settings und laden Sie kubeconfig.yaml herunter. Führen Sie
kubectlvon einem Host innerhalb des Allowed IPs-Bereichs aus. - Öffnen Sie
fc-prod-fra-aiim Workspace und stellen Sie sicher, dass die verwalteten Ressourcen des Clusters vorhanden sind. Lassen Sie sie unverändert.
Häufige Fehler:
- Erstellen des Clusters vor der Reservierung der NAT-Gateway-IP-Adresse oder Auswahl einer Adresse, die von einer anderen Ressource verwendet wird.
- Annahme, dass „private" die Kubernetes API versteckt. Sie bleibt internetzugewandt; setzen Sie Allowed IPs bei der Erstellung.
- Auswahl eines Node-Subnets, das mit
100.96.0.0/12,100.64.0.0/18oder einem FinCorp-Bereich auf einem VPN oder Cross Connect überlappt. Das Subnet kann später nicht geändert werden. - Schreiben eines
type: LoadBalancer-Diensts für ein privates Cluster. Dies wird nicht unterstützt; stellen Sie Dienste internen Clients über ein privates LAN bereit, dem der Node Pool beigefügt ist. - Anhängen anderer Server oder Netzwerke am NAT Gateway des Clusters oder Bearbeiten des Private Cross Connect. Beides gehört zum Dienst.
- Platzierung eines Node Pools in einem VDC an einem anderen Ort. Private Node Pools müssen in der Region des Clusters liegen.
Zusammenfassung
Ein privater Cluster isoliert die Daten-Ebene, nicht die API. Sie reservieren eine IPv4-Adresse für das NAT-Gateway und wählen ein nicht überlappendes /16-Node-Subnetz, bevor Sie den Cluster erstellen. Der Dienst richtet dann ein NAT Gateway für ausgehenden Traffic und einen Private Cross Connect für den Traffic zwischen den Node-Pools ein. Region, NAT-Adresse, Node-Subnetz und Zugriffstyp sind bei der Erstellung festgelegt, daher legt FinCorp alle vier Parameter im Adressplan fest, bevor der erste Klick erfolgt.
Wichtige Punkte:
- Private Node-Pools haben nur interne IPs und erreichen das Internet ausgehend über das NAT Gateway des Dienstes.
- Die Kubernetes API bleibt internetzugewandt; Sie beschränken sie mit Allowed IPs.
- LoadBalancer-Dienste und statische Node-IPs werden in privaten Node-Pools nicht unterstützt.
- Das Node-Subnetz ist ein /16, das
100.96.0.0/12oder100.64.0.0/18(Kubernetes 1.30 und höher) nicht schneiden darf. - Region, IP-Adresse des NAT Gateways, Node-Subnetz und Node-Pool-Zugriff können nach der Bereitstellung nicht geändert werden.