Einheit 2.4: Storage-Provisionierung als Code
Einführung
TaskBoard verfügt nun über Compute, ein segmentiertes Netzwerk und einen Load Balancer. Alle Daten werden weiterhin auf der Systemdisk des API-Servers gespeichert, und Benutzer können noch keine Anhänge hochladen. Sie benötigen ein Datenvolumen, das einen Server-Neuaufbau übersteht, einen Bucket für hochgeladene Dateien sowie Zugangsdaten, die Ihre Anwendung aus Terraform-Outputs lesen kann.
In dieser Einheit provisionieren Sie die Storage-Ebene als Code. Sie fügen ein Block Storage-Datenvolumen mit der passenden Performance-Klasse und Zone hinzu, erstellen einen IONOS Cloud Object Storage-Bucket mit einem eigenen Access Key, verbinden das Remote-State-Muster aus Einheit 1.2 und sehen, wie Network File Storage (NFS) dasselbe Muster für geteilte Dateien anwendet. Im Code Lab deployen Sie die Storage-Ebene von TaskBoard und verifizieren den Bucket mit einem S3-Client.
1. Block Storage mit ionoscloud_volume
resource "ionoscloud_volume" "api_data" {
datacenter_id = ionoscloud_datacenter.taskboard.id
server_id = ionoscloud_server.api.id
name = "taskboard-api-data"
size = 100
disk_type = "PERFORMANCE"
availability_zone = "ZONE_1"
licence_type = "UNKNOWN"
bus = "VIRTIO"
}
Das Datenvolumen ist vom Inline-Systemvolumen des Servers getrennt, sodass Sie den Server neu aufbauen können, ohne Daten zu verlieren. licence_type (oder image_name) ist erforderlich; für ein sekundäres Datenvolumen verlangt die Anbieterdokumentation UNKNOWN. server_id hängt das Volumen an; lassen Sie es für ein nicht angehängtes Volumen leer.
1.1 Auswahl der Performance-Klasse
disk_type akzeptiert ESSENTIAL, BALANCED oder PERFORMANCE für die Block Storage-Performance-Klassen, und ist unveränderlich. Essential ist eine kosteneffiziente Klasse für Daten wie Sicherungen und Archive, Balanced ist eine Allzweckklasse für Webserver und Entwicklungsumgebungen, und Performance ist eine Hochdurchsatzklasse für Daten, die geringe Latenz erfordern, wie Datenbanken. Die folgende Tabelle zeigt die Grenzen pro Klasse:
| Speichervolumen | Essential | Balanced | Performance |
|---|---|---|---|
| Mindestgröße pro Volumen | 1 GB | 1 GB | 1 GB |
| Maximalgröße pro Volumen | 4 TB | 4 TB | 4 TB |
| Maximale Lese-/Schreibgeschwindigkeit, sequenziell | 200 MB/s (statisch pro Instanz) | 300 MB/s pro Volumen bei 1 MB Blockgröße | 600 MB/s pro Volumen bei 1 MB Blockgröße |
| Maximale Leseleistung, vollständig zufällig | 1.100 (statisch pro Instanz) | 24.000 IOPS bei 4 KB Blockgröße und mindestens 2 Cores, 2 GB RAM pro Volumen | 45.000 IOPS bei 4 KB Blockgröße und mindestens 4 Cores, 4 GB RAM pro Volumen |
| Maximale Schreibleistung, vollständig zufällig | 1.100 (statisch pro Instanz) | 18.000 IOPS bei 4 KB Blockgröße und mindestens 2 Cores, 2 GB RAM pro Volumen | 30.000 IOPS bei 4 KB Blockgröße und mindestens 4 Cores, 4 GB RAM pro Volumen |
Wie oben gezeigt, ist die Essential-Performance statisch, während Balanced und Performance mit der Volumengröße skalieren: Performance liefert 75 IOPS pro GB für vollständig zufällige Lesezugriffe bei 4 KB Blockgröße. IONOS CLOUD empfiehlt mindestens 100 GB, um den vollen Nutzen der SSD-Klassen zu erzielen, und Volumene größer als 600 GB erreichen die maximalen Werte. Der API-Server von TaskBoard hat 4 Kerne und 8 GB RAM, daher passt ein 100 GB Performance-Volumen zu seiner datenbankähnlichen Arbeitslast.
1.2 Die Verfügbarkeitszonen-Einschränkung
resource "ionoscloud_server" "api" {
# ...
availability_zone = "ZONE_1" # servers: AUTO, ZONE_1, ZONE_2
}
resource "ionoscloud_volume" "api_data" {
# ...
availability_zone = "ZONE_1" # volumes: AUTO, ZONE_1, ZONE_2, ZONE_3
}
Block Storage bietet Zone 1, Zone 2, Zone 3 und Auto. Compute bietet nur Zone 1, Zone 2 und Auto, daher darf eine Variable, die von Servern und Volumes gemeinsam genutzt wird, ZONE_3 nicht zulassen:
variable "server_zone" {
type = string
default = "ZONE_1"
validation {
condition = contains(["AUTO", "ZONE_1", "ZONE_2"], var.server_zone)
error_message = "Servers support AUTO, ZONE_1 or ZONE_2 only."
}
}
Die Zone des Volumes ist unveränderlich. Um ein Volume in eine andere Zone zu verschieben, erstellen Sie einen Snapshot (Einheit 2.1) und provisionieren Sie daraus ein neues Volume.
1.3 Größenanpassung
Sie können size nach dem Provisioning im Code vergrößern, auch während der Server läuft, sofern das Betriebssystem dies unterstützt. Eine Verkleinerung ist nicht möglich. Nach einer Vergrößerung erweitern Sie die Partition und das Dateisystem innerhalb des Gastsystems.
2. IONOS Cloud Object Storage as Code
IONOS Cloud Object Storage ist mit dem S3-Protokoll kompatibel und authentifiziert sich mit einem Schlüsselpaar: einem Access Key und einem Secret Key. Es verwendet nicht das Bearer Token der Cloud API. Object Storage ist standardmäßig nicht aktiviert; ein Vertragsinhaber oder Administrator aktiviert es.
2.1 Provider-Zugangsdaten und der Bucket
Der Provider verwaltet Buckets mit einem vorhandenen Schlüsselpaar, das Sie über die Umgebung übergeben (Einheit 1.2):
export IONOS_S3_ACCESS_KEY="<access key>"
export IONOS_S3_SECRET_KEY="<secret key>"
export IONOS_S3_REGION="eu-central-3"
resource "ionoscloud_s3_bucket" "uploads" {
name = "taskboard-uploads-dev-7f3a"
region = "eu-central-3"
force_destroy = false
tags = {
app = "taskboard"
env = "dev"
}
}
Der Bucket-Name muss in allen Object Storage-Regionen über alle IONOS-Konten hinweg eindeutig sein und 3 bis 63 Zeichen lang sein. Fügen Sie daher einen zufälligen oder umgebungsbezogenen Suffix hinzu. region muss der globalen Region entsprechen (IONOS_S3_REGION oder das s3_region-Provider-Attribut) oder die globale Region muss nicht gesetzt sein. Vertragsgebundene Buckets sind in eu-central-3, eu-central-4 und us-central-1 verfügbar; ihr Endpoint folgt dem Muster s3.<region>.ionoscloud.com.
Mit force_destroy = false verweigert Terraform die Löschung eines Buckets, der noch Objekte enthält. Setzen Sie ihn nur für ephemere Umgebungen auf true, da er alle Inhalte unwiderruflich löscht.
2.2 Anwendungszugangsdaten
TaskBoard sollte nicht Ihren persönlichen Schlüssel verwenden. Erstellen Sie einen dedizierten Schlüssel in Terraform und stellen Sie ihn als sensible Ausgaben bereit:
resource "ionoscloud_object_storage_accesskey" "taskboard" {
description = "taskboard-api uploads"
}
output "uploads_access_key" {
value = ionoscloud_object_storage_accesskey.taskboard.accesskey
sensitive = true
}
output "uploads_secret_key" {
value = ionoscloud_object_storage_accesskey.taskboard.secretkey
sensitive = true
}
Das Attribut accesskey ist eine Zeichenfolge von 92 Zeichen. Ein Benutzer kann bis zu 5 Zugriffschlüssel besitzen, daher sollten Schlüssel von zerstörten Umgebungen bereinigt werden. Um stattdessen einen Schlüssel für einen separaten IONOS CLOUD Benutzer zu erstellen, verwenden Sie ionoscloud_s3_key mit dem user_id dieses Benutzers; sein berechnetes Attribut secret_key gehört ebenfalls in eine sensible Ausgabe.
sensitive = true versteckt die Werte in der Plan- und Apply-Ausgabe, sie werden jedoch weiterhin im Klartext im State gespeichert. Das ist ein weiterer Grund für den unten beschriebenen, zugriffsgeschützten Remote State.
2.3 Der Bucket als Terraform Backend
Einheit 1.2 konfigurierte das Backend s3 gegen einen IONOS Cloud Object Storage Endpunkt. Erstellen Sie den State-Bucket einmalig, außerhalb der Konfiguration, die er speichert, beispielsweise in einem kleinen Bootstrap-Projekt:
resource "ionoscloud_s3_bucket" "tfstate" {
name = "taskboard-tfstate-7f3a"
region = "eu-central-3"
}
resource "ionoscloud_s3_bucket_versioning" "tfstate" {
bucket = ionoscloud_s3_bucket.tfstate.name
versioning_configuration {
status = "Enabled"
}
}
Mit Versionierung können Sie nach einem fehlerhaften Apply einen früheren Stand der State-Datei wiederherstellen. Der Backend-Block selbst bleibt wie in Einheit 1.2 dargestellt und authentifiziert sich mit AWS_ACCESS_KEY_ID und AWS_SECRET_ACCESS_KEY.
3. Network File Storage
NFS ist ein Referenzbeispiel mit demselben Muster für TaskBoard: Sie nutzen es nur, wenn mehrere Server Dateien teilen müssen. Es ist ein verwalteter Shared-Storage-Dienst, auf den VMs über ein privates LAN mit NFSv4.2 zugreifen.
resource "ionoscloud_nfs_cluster" "shared" {
name = "taskboard-shared"
location = "de/txl"
size = 2048
size_unit = "GiB"
nfs {
min_version = "4.2"
}
connections {
datacenter_id = ionoscloud_datacenter.taskboard.id
lan = ionoscloud_lan.app.id
ip_address = "10.10.1.8/24"
}
}
resource "ionoscloud_nfs_share" "attachments" {
location = "de/txl"
cluster_id = ionoscloud_nfs_cluster.shared.id
name = "attachments"
quota = 102400
uid = 1000
gid = 1000
client_groups {
description = "app tier"
ip_networks = ["10.10.1.0/24"]
hosts = ["10.10.1.11"]
nfs {
squash = "root-anonymous"
}
}
}
Wesentliche Unterschiede zu Block Storage:
- Größe: Der Cluster umfasst 2 TiB bis 42 TiB in 1-TiB-Schritten und kann nur vergrößert, nicht verkleinert werden.
- Shares: Jeder Share hat einen optionalen
quotain MiB;0deaktiviert ihn. - Squash:
none,root-anonymousoderall-anonymousmappt Client-Benutzer auf die anonyme ID. - Verbindung: Der Cluster erhält eine Adresse in Ihrem privaten LAN; verwenden Sie eine aus dem Bereich für verwaltete Dienste (Einheit 2.2).
- Einhängen: Clients hängen mit
mount -t nfs <cluster-ip>:<share-uuid> <local-mount-path>ein.
Die NFS API ist regional (https://nfs.{region}.ionos.com), und NFS ist in gb/bhx nicht verfügbar.
4. Speicher in Code auswählen
| Zugriffsmuster | Dienst | Terraform-Ressource |
|---|---|---|
| Ein Server liest und schreibt Blöcke (Datenbankdateien, Anwendungsdaten) | Block Storage | ionoscloud_volume |
| Viele Clients lesen und schreiben Objekte über HTTP (Uploads, statische Assets, Sicherungen, Terraform-Zustand) | IONOS Cloud Object Storage | ionoscloud_s3_bucket |
| Mehrere Server teilen sich ein POSIX-Dateisystem in einem privaten LAN | Network File Storage | ionoscloud_nfs_cluster, ionoscloud_nfs_share |
Wie die Tabelle zeigt, ist die entscheidende Frage, wer auf die Daten zugreift und über welches Protokoll. TaskBoard verwendet Block Storage für das Datenvolumen des API-Servers und Object Storage für Benutzer-Uploads. In Einheit 2.5 werden die transaktionalen Daten in einen verwalteten PostgreSQL-Cluster verlagert, sodass das Datenvolumen dann nur noch lokale Arbeitsdateien enthält.
import boto3
s3 = boto3.client(
"s3",
endpoint_url="https://s3.eu-central-3.ionoscloud.com",
aws_access_key_id=ACCESS_KEY,
aws_secret_access_key=SECRET_KEY,
region_name="eu-central-3",
)
s3.upload_file("report.pdf", "taskboard-uploads-dev-7f3a", "tasks/42/report.pdf")
Die Anwendungsebene benötigt nur den Endpunkt und das Schlüsselpaar aus den Ausgaben in Abschnitt 2.2. Modul 4 behandelt die Integration im Detail.
Schnellreferenz für die API
Wichtige API-Endpunkte für die Ressourcen dieser Einheit:
| Methode | Endpunkt | Beschreibung |
|---|---|---|
POST |
/datacenters/{datacenterId}/volumes |
Wird von ionoscloud_volume erstellt (Cloud API) |
POST |
/datacenters/{datacenterId}/servers/{serverId}/volumes |
Hängt ein Volume an einen Server an (Cloud API) |
PUT |
/{bucket} |
Erstellt einen Bucket (S3 API, https://s3.<region>.ionoscloud.com) |
POST |
/clusters |
Wird von ionoscloud_nfs_cluster erstellt (NFS API, https://nfs.{region}.ionos.com) |
POST |
/clusters/{clusterId}/shares |
Wird von ionoscloud_nfs_share erstellt (NFS API) |
Basis-URL: https://api.ionos.com/cloudapi/v6 (Object Storage und NFS verwenden eigene Endpunkte, wie oben gezeigt)
Authentifizierung: Authorization: Bearer <token> (Object Storage: Access Key und Secret Key)
Code Lab
Ziel: Deployment der Storage-Ebene von TaskBoard mit Terraform: ein Block Storage-Datenvolumen, das an den API-Server angehängt wird, und ein Object Storage-Bucket mit einem eigenen Zugriffschlüssel, wobei die Zugangsdaten als sensible Ausgaben konfiguriert sind.
Voraussetzungen:
- Das Projekt aus den Einheiten 2.1 bis 2.3 mit
IONOS_TOKENfestgelegt - Ein bestehendes Object Storage-Schlüsselpaar in
IONOS_S3_ACCESS_KEYundIONOS_S3_SECRET_KEY, sowieIONOS_S3_REGION=eu-central-3 - Die lokal installierte AWS CLI
Schritt 1: Datenvolumen hinzufügen
Fügen Sie ionoscloud_volume.api_data aus Abschnitt 1 hinzu. Setzen Sie dessen availability_zone auf AUTO oder auf die Zone, die Sie auf dem Server festgelegt haben, und führen Sie dann den Plan aus:
terraform plan | grep "will be created"
Erwartete Ausgabe:
# ionoscloud_volume.api_data will be created
Schritt 2: Bucket und Zugriffschlüssel hinzufügen
Fügen Sie ionoscloud_s3_bucket.uploads (mit Ihrem eigenen eindeutigen Suffix), ionoscloud_object_storage_accesskey.taskboard und beide Ausgaben aus Abschnitt 2.2 hinzu. Wenden Sie die Konfiguration anschließend an:
terraform apply -auto-approve | tail -n 5
Erwartete Ausgabe:
Apply complete! Resources: 3 added, 0 changed, 0 destroyed.
Outputs:
uploads_access_key = <sensitive>
uploads_secret_key = <sensitive>
Schritt 3: Das Volume auf dem API-Server einbinden
ssh root@"$(terraform output -raw api_public_ip)" 'lsblk -o NAME,SIZE,TYPE,MOUNTPOINT'
Erwartete Ausgabe:
NAME SIZE TYPE MOUNTPOINT
vda 20G disk
└─vda1 20G part /
vdb 100G disk
vdb formatieren und einbinden (z. B. mit mkfs.ext4 und einem /etc/fstab-Eintrag) oder diese Schritte zum cloud-config eines neu aufgebauten Servers hinzufügen.
Schritt 4: AWS CLI mit dem neuen Schlüssel konfigurieren
export AWS_ACCESS_KEY_ID="$(terraform output -raw uploads_access_key)"
export AWS_SECRET_ACCESS_KEY="$(terraform output -raw uploads_secret_key)"
aws s3 ls --endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3
Erwartete Ausgabe:
... taskboard-uploads-dev-7f3a
Schritt 5: Objekt hochladen und zurücklesen
echo "hello taskboard" > hello.txt
aws s3 cp hello.txt s3://taskboard-uploads-dev-7f3a/tests/hello.txt \
--endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3
aws s3 ls s3://taskboard-uploads-dev-7f3a/tests/ \
--endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3
Erwartete Ausgabe:
upload: ./hello.txt to s3://taskboard-uploads-dev-7f3a/tests/hello.txt
... 16 hello.txt
Prüfliste:
- [ ] Das Datenvolumen ist an den API-Server angehängt und als zweite Festplatte sichtbar
- [ ] Der Bucket existiert in
eu-central-3 - [ ] Der neue Zugriffsschlüssel kann den Bucket auflisten und ein Objekt hochladen
- [ ]
terraform outputzeigt beide Zugangsdaten als<sensitive>
Bereinigung:
aws s3 rm s3://taskboard-uploads-dev-7f3a --recursive \
--endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3
terraform destroy -auto-approve
Häufige Fehler
Fehler von Entwicklerinnen und Entwicklern, die bei dem Thema dieser Einheit zu vermeiden sind:
-
Verwendung von ZONE_3 für einen Server
- Problem: Eine gemeinsame
zone-Variable funktioniert für Volumes, doch der Serverplan oder die Anwendung schlägt mitZONE_3fehl. - Ursache: Block Storage unterstützt Zone 3, Compute jedoch nur Zone 1, Zone 2 und Auto.
- Lösung: Verwenden Sie separate Variablen für die Zonen von Servern und Volumes und validieren Sie die Serverzone (Abschnitt 1.2).
- Problem: Eine gemeinsame
-
Senden eines Bearer-Tokens an Object Storage
- Problem: Bucket-Operationen schlagen mit einem Authentifizierungsfehler fehl, obwohl
IONOS_TOKENgesetzt ist. - Ursache: Object Storage authentifiziert sich mit einem Access Key und einem Secret Key, nicht mit Cloud-API-Tokens.
- Lösung: Setzen Sie
IONOS_S3_ACCESS_KEYundIONOS_S3_SECRET_KEYfür den Provider sowieAWS_ACCESS_KEY_IDundAWS_SECRET_ACCESS_KEYfür S3-Clients.
- Problem: Bucket-Operationen schlagen mit einem Authentifizierungsfehler fehl, obwohl
-
Bucket-Name bereits vergeben
- Problem:
terraform applyschlägt beiionoscloud_s3_bucketin einer neuen Umgebung fehl. - Ursache: Bucket-Namen müssen über alle IONOS-Konten und alle Object-Storage-Regionen hinweg eindeutig sein.
- Lösung: Fügen Sie ein Suffix hinzu, beispielsweise aus
random_id, und speichern Sie den Namen in einer Variable pro Umgebung.
- Problem:
Zusammenfassung
Sie können jetzt die Storage-Ebene von TaskBoard als Code provisionieren. Block Storage-Volumes verwenden ESSENTIAL, BALANCED oder PERFORMANCE, werden mit server_id angehängt, wachsen, aber schrumpfen nie, und befinden sich in Zonen, die nicht vollständig mit der Compute-Ebene geteilt werden. IONOS Cloud Object Storage-Buckets werden mit Access Key- und Secret Key-Paaren authentifiziert, die Terraform erstellen und Ihrer Anwendung als sensible Ausgaben übergeben kann, und ein versionisierter Bucket hält Ihren Remote State. NFS fügt geteilten POSIX-Speicher in einem privaten LAN mit dem gleichen Ressourcenmuster hinzu.
Wichtige Punkte:
disk_typeund dieavailability_zonedes Volumes sind unveränderlich; Volumes könnenZONE_3verwenden, Server nicht- Balanced und Performance skalieren mit der Größe; reservieren Sie mindestens 100 GB für volle SSD-Leistung
- Die Object Storage S3 API verwendet Access Key plus Secret Key, keine Bearer-Tokens (nur die Object Storage Management API für Schlüssel verwendet ein Bearer-Token); Bucket-Namen sind global eindeutig
- Markieren Sie Credential-Ausgaben als
sensitiveund schützen Sie den State, der sie noch enthält - NFS-Cluster reichen von 2 TiB bis 42 TiB, wachsen in 1 TiB-Schritten und werden an ein privates LAN angehängt
Wichtige Begriffe:
- Performance-Klasse: Der in
disk_typefestgelegte Block Storage-Typ: Essential, Balanced oder Performance - Vertragszugehöriger Bucket: Ein Bucket, dem der Vertragsinhaber gehört, verfügbar in
eu-central-3,eu-central-4undus-central-1 - Access Key und Secret Key: Das Schlüsselpaar, das S3-Clients und der Provider für Object Storage verwenden
- Sensible Ausgabe: Eine Terraform-Ausgabe, die in der CLI-Ausgabe verborgen, aber im State gespeichert ist
- Share: Ein exportiertes Verzeichnis eines NFS-Clusters, mit eigener Quote und eigenen Client-Gruppen
Nächste Schritte
Weiter lernen: Einheit 2.5: Bereitstellung von Datenbank- und Streaming-Diensten
Verwandte Themen: