12 Min. Lesezeit

Lernziele

Am Ende dieses Moduls werden Sie in der Lage sein:

  • Block Storage-Volumes mit `ionoscloud_volume` provisionieren und anbinden, wobei `disk_type` und `availability_zone` korrekt ausgewählt werden
  • IONOS Cloud Object Storage-Buckets mit `ionoscloud_s3_bucket` erstellen und Access Key- und Secret Key-Zugangsdaten in Terraform generieren
  • Storage-Zugangsdaten aus Terraform als sensible Outputs für die Anwendungskonfiguration bereitstellen
  • Gemeinsames Dateispeichersystem mit `ionoscloud_nfs_cluster` und `ionoscloud_nfs_share` provisionieren
  • Block Storage, Object Storage oder Network File Storage im Code basierend auf dem Zugriffsmuster auswählen

Einheit 2.4: Storage-Provisionierung als Code

Einführung

TaskBoard verfügt nun über Compute, ein segmentiertes Netzwerk und einen Load Balancer. Alle Daten werden weiterhin auf der Systemdisk des API-Servers gespeichert, und Benutzer können noch keine Anhänge hochladen. Sie benötigen ein Datenvolumen, das einen Server-Neuaufbau übersteht, einen Bucket für hochgeladene Dateien sowie Zugangsdaten, die Ihre Anwendung aus Terraform-Outputs lesen kann.

In dieser Einheit provisionieren Sie die Storage-Ebene als Code. Sie fügen ein Block Storage-Datenvolumen mit der passenden Performance-Klasse und Zone hinzu, erstellen einen IONOS Cloud Object Storage-Bucket mit einem eigenen Access Key, verbinden das Remote-State-Muster aus Einheit 1.2 und sehen, wie Network File Storage (NFS) dasselbe Muster für geteilte Dateien anwendet. Im Code Lab deployen Sie die Storage-Ebene von TaskBoard und verifizieren den Bucket mit einem S3-Client.

1. Block Storage mit ionoscloud_volume

resource "ionoscloud_volume" "api_data" {
  datacenter_id     = ionoscloud_datacenter.taskboard.id
  server_id         = ionoscloud_server.api.id
  name              = "taskboard-api-data"
  size              = 100
  disk_type         = "PERFORMANCE"
  availability_zone = "ZONE_1"
  licence_type      = "UNKNOWN"
  bus               = "VIRTIO"
}

Das Datenvolumen ist vom Inline-Systemvolumen des Servers getrennt, sodass Sie den Server neu aufbauen können, ohne Daten zu verlieren. licence_type (oder image_name) ist erforderlich; für ein sekundäres Datenvolumen verlangt die Anbieterdokumentation UNKNOWN. server_id hängt das Volumen an; lassen Sie es für ein nicht angehängtes Volumen leer.

1.1 Auswahl der Performance-Klasse

disk_type akzeptiert ESSENTIAL, BALANCED oder PERFORMANCE für die Block Storage-Performance-Klassen, und ist unveränderlich. Essential ist eine kosteneffiziente Klasse für Daten wie Sicherungen und Archive, Balanced ist eine Allzweckklasse für Webserver und Entwicklungsumgebungen, und Performance ist eine Hochdurchsatzklasse für Daten, die geringe Latenz erfordern, wie Datenbanken. Die folgende Tabelle zeigt die Grenzen pro Klasse:

Speichervolumen Essential Balanced Performance
Mindestgröße pro Volumen 1 GB 1 GB 1 GB
Maximalgröße pro Volumen 4 TB 4 TB 4 TB
Maximale Lese-/Schreibgeschwindigkeit, sequenziell 200 MB/s (statisch pro Instanz) 300 MB/s pro Volumen bei 1 MB Blockgröße 600 MB/s pro Volumen bei 1 MB Blockgröße
Maximale Leseleistung, vollständig zufällig 1.100 (statisch pro Instanz) 24.000 IOPS bei 4 KB Blockgröße und mindestens 2 Cores, 2 GB RAM pro Volumen 45.000 IOPS bei 4 KB Blockgröße und mindestens 4 Cores, 4 GB RAM pro Volumen
Maximale Schreibleistung, vollständig zufällig 1.100 (statisch pro Instanz) 18.000 IOPS bei 4 KB Blockgröße und mindestens 2 Cores, 2 GB RAM pro Volumen 30.000 IOPS bei 4 KB Blockgröße und mindestens 4 Cores, 4 GB RAM pro Volumen

Wie oben gezeigt, ist die Essential-Performance statisch, während Balanced und Performance mit der Volumengröße skalieren: Performance liefert 75 IOPS pro GB für vollständig zufällige Lesezugriffe bei 4 KB Blockgröße. IONOS CLOUD empfiehlt mindestens 100 GB, um den vollen Nutzen der SSD-Klassen zu erzielen, und Volumene größer als 600 GB erreichen die maximalen Werte. Der API-Server von TaskBoard hat 4 Kerne und 8 GB RAM, daher passt ein 100 GB Performance-Volumen zu seiner datenbankähnlichen Arbeitslast.

1.2 Die Verfügbarkeitszonen-Einschränkung

resource "ionoscloud_server" "api" {
  # ...
  availability_zone = "ZONE_1"   # servers: AUTO, ZONE_1, ZONE_2
}

resource "ionoscloud_volume" "api_data" {
  # ...
  availability_zone = "ZONE_1"   # volumes: AUTO, ZONE_1, ZONE_2, ZONE_3
}

Block Storage bietet Zone 1, Zone 2, Zone 3 und Auto. Compute bietet nur Zone 1, Zone 2 und Auto, daher darf eine Variable, die von Servern und Volumes gemeinsam genutzt wird, ZONE_3 nicht zulassen:

variable "server_zone" {
  type    = string
  default = "ZONE_1"
  validation {
    condition     = contains(["AUTO", "ZONE_1", "ZONE_2"], var.server_zone)
    error_message = "Servers support AUTO, ZONE_1 or ZONE_2 only."
  }
}

Die Zone des Volumes ist unveränderlich. Um ein Volume in eine andere Zone zu verschieben, erstellen Sie einen Snapshot (Einheit 2.1) und provisionieren Sie daraus ein neues Volume.

1.3 Größenanpassung

Sie können size nach dem Provisioning im Code vergrößern, auch während der Server läuft, sofern das Betriebssystem dies unterstützt. Eine Verkleinerung ist nicht möglich. Nach einer Vergrößerung erweitern Sie die Partition und das Dateisystem innerhalb des Gastsystems.

2. IONOS Cloud Object Storage as Code

IONOS Cloud Object Storage ist mit dem S3-Protokoll kompatibel und authentifiziert sich mit einem Schlüsselpaar: einem Access Key und einem Secret Key. Es verwendet nicht das Bearer Token der Cloud API. Object Storage ist standardmäßig nicht aktiviert; ein Vertragsinhaber oder Administrator aktiviert es.

2.1 Provider-Zugangsdaten und der Bucket

Der Provider verwaltet Buckets mit einem vorhandenen Schlüsselpaar, das Sie über die Umgebung übergeben (Einheit 1.2):

export IONOS_S3_ACCESS_KEY="<access key>"
export IONOS_S3_SECRET_KEY="<secret key>"
export IONOS_S3_REGION="eu-central-3"
resource "ionoscloud_s3_bucket" "uploads" {
  name          = "taskboard-uploads-dev-7f3a"
  region        = "eu-central-3"
  force_destroy = false
  tags = {
    app = "taskboard"
    env = "dev"
  }
}

Der Bucket-Name muss in allen Object Storage-Regionen über alle IONOS-Konten hinweg eindeutig sein und 3 bis 63 Zeichen lang sein. Fügen Sie daher einen zufälligen oder umgebungsbezogenen Suffix hinzu. region muss der globalen Region entsprechen (IONOS_S3_REGION oder das s3_region-Provider-Attribut) oder die globale Region muss nicht gesetzt sein. Vertragsgebundene Buckets sind in eu-central-3, eu-central-4 und us-central-1 verfügbar; ihr Endpoint folgt dem Muster s3.<region>.ionoscloud.com.

Mit force_destroy = false verweigert Terraform die Löschung eines Buckets, der noch Objekte enthält. Setzen Sie ihn nur für ephemere Umgebungen auf true, da er alle Inhalte unwiderruflich löscht.

2.2 Anwendungszugangsdaten

TaskBoard sollte nicht Ihren persönlichen Schlüssel verwenden. Erstellen Sie einen dedizierten Schlüssel in Terraform und stellen Sie ihn als sensible Ausgaben bereit:

resource "ionoscloud_object_storage_accesskey" "taskboard" {
  description = "taskboard-api uploads"
}

output "uploads_access_key" {
  value     = ionoscloud_object_storage_accesskey.taskboard.accesskey
  sensitive = true
}

output "uploads_secret_key" {
  value     = ionoscloud_object_storage_accesskey.taskboard.secretkey
  sensitive = true
}

Das Attribut accesskey ist eine Zeichenfolge von 92 Zeichen. Ein Benutzer kann bis zu 5 Zugriffschlüssel besitzen, daher sollten Schlüssel von zerstörten Umgebungen bereinigt werden. Um stattdessen einen Schlüssel für einen separaten IONOS CLOUD Benutzer zu erstellen, verwenden Sie ionoscloud_s3_key mit dem user_id dieses Benutzers; sein berechnetes Attribut secret_key gehört ebenfalls in eine sensible Ausgabe.

sensitive = true versteckt die Werte in der Plan- und Apply-Ausgabe, sie werden jedoch weiterhin im Klartext im State gespeichert. Das ist ein weiterer Grund für den unten beschriebenen, zugriffsgeschützten Remote State.

2.3 Der Bucket als Terraform Backend

Einheit 1.2 konfigurierte das Backend s3 gegen einen IONOS Cloud Object Storage Endpunkt. Erstellen Sie den State-Bucket einmalig, außerhalb der Konfiguration, die er speichert, beispielsweise in einem kleinen Bootstrap-Projekt:

resource "ionoscloud_s3_bucket" "tfstate" {
  name   = "taskboard-tfstate-7f3a"
  region = "eu-central-3"
}

resource "ionoscloud_s3_bucket_versioning" "tfstate" {
  bucket = ionoscloud_s3_bucket.tfstate.name
  versioning_configuration {
    status = "Enabled"
  }
}

Mit Versionierung können Sie nach einem fehlerhaften Apply einen früheren Stand der State-Datei wiederherstellen. Der Backend-Block selbst bleibt wie in Einheit 1.2 dargestellt und authentifiziert sich mit AWS_ACCESS_KEY_ID und AWS_SECRET_ACCESS_KEY.

3. Network File Storage

NFS ist ein Referenzbeispiel mit demselben Muster für TaskBoard: Sie nutzen es nur, wenn mehrere Server Dateien teilen müssen. Es ist ein verwalteter Shared-Storage-Dienst, auf den VMs über ein privates LAN mit NFSv4.2 zugreifen.

resource "ionoscloud_nfs_cluster" "shared" {
  name      = "taskboard-shared"
  location  = "de/txl"
  size      = 2048
  size_unit = "GiB"

  nfs {
    min_version = "4.2"
  }

  connections {
    datacenter_id = ionoscloud_datacenter.taskboard.id
    lan           = ionoscloud_lan.app.id
    ip_address    = "10.10.1.8/24"
  }
}

resource "ionoscloud_nfs_share" "attachments" {
  location   = "de/txl"
  cluster_id = ionoscloud_nfs_cluster.shared.id
  name       = "attachments"
  quota      = 102400
  uid        = 1000
  gid        = 1000

  client_groups {
    description = "app tier"
    ip_networks = ["10.10.1.0/24"]
    hosts       = ["10.10.1.11"]
    nfs {
      squash = "root-anonymous"
    }
  }
}

Wesentliche Unterschiede zu Block Storage:

  • Größe: Der Cluster umfasst 2 TiB bis 42 TiB in 1-TiB-Schritten und kann nur vergrößert, nicht verkleinert werden.
  • Shares: Jeder Share hat einen optionalen quota in MiB; 0 deaktiviert ihn.
  • Squash: none, root-anonymous oder all-anonymous mappt Client-Benutzer auf die anonyme ID.
  • Verbindung: Der Cluster erhält eine Adresse in Ihrem privaten LAN; verwenden Sie eine aus dem Bereich für verwaltete Dienste (Einheit 2.2).
  • Einhängen: Clients hängen mit mount -t nfs <cluster-ip>:<share-uuid> <local-mount-path> ein.

Die NFS API ist regional (https://nfs.{region}.ionos.com), und NFS ist in gb/bhx nicht verfügbar.

4. Speicher in Code auswählen

Zugriffsmuster Dienst Terraform-Ressource
Ein Server liest und schreibt Blöcke (Datenbankdateien, Anwendungsdaten) Block Storage ionoscloud_volume
Viele Clients lesen und schreiben Objekte über HTTP (Uploads, statische Assets, Sicherungen, Terraform-Zustand) IONOS Cloud Object Storage ionoscloud_s3_bucket
Mehrere Server teilen sich ein POSIX-Dateisystem in einem privaten LAN Network File Storage ionoscloud_nfs_cluster, ionoscloud_nfs_share

Wie die Tabelle zeigt, ist die entscheidende Frage, wer auf die Daten zugreift und über welches Protokoll. TaskBoard verwendet Block Storage für das Datenvolumen des API-Servers und Object Storage für Benutzer-Uploads. In Einheit 2.5 werden die transaktionalen Daten in einen verwalteten PostgreSQL-Cluster verlagert, sodass das Datenvolumen dann nur noch lokale Arbeitsdateien enthält.

import boto3

s3 = boto3.client(
    "s3",
    endpoint_url="https://s3.eu-central-3.ionoscloud.com",
    aws_access_key_id=ACCESS_KEY,
    aws_secret_access_key=SECRET_KEY,
    region_name="eu-central-3",
)
s3.upload_file("report.pdf", "taskboard-uploads-dev-7f3a", "tasks/42/report.pdf")

Die Anwendungsebene benötigt nur den Endpunkt und das Schlüsselpaar aus den Ausgaben in Abschnitt 2.2. Modul 4 behandelt die Integration im Detail.

Schnellreferenz für die API

Wichtige API-Endpunkte für die Ressourcen dieser Einheit:

Methode Endpunkt Beschreibung
POST /datacenters/{datacenterId}/volumes Wird von ionoscloud_volume erstellt (Cloud API)
POST /datacenters/{datacenterId}/servers/{serverId}/volumes Hängt ein Volume an einen Server an (Cloud API)
PUT /{bucket} Erstellt einen Bucket (S3 API, https://s3.<region>.ionoscloud.com)
POST /clusters Wird von ionoscloud_nfs_cluster erstellt (NFS API, https://nfs.{region}.ionos.com)
POST /clusters/{clusterId}/shares Wird von ionoscloud_nfs_share erstellt (NFS API)

Basis-URL: https://api.ionos.com/cloudapi/v6 (Object Storage und NFS verwenden eigene Endpunkte, wie oben gezeigt) Authentifizierung: Authorization: Bearer <token> (Object Storage: Access Key und Secret Key)

Code Lab

Ziel: Deployment der Storage-Ebene von TaskBoard mit Terraform: ein Block Storage-Datenvolumen, das an den API-Server angehängt wird, und ein Object Storage-Bucket mit einem eigenen Zugriffschlüssel, wobei die Zugangsdaten als sensible Ausgaben konfiguriert sind.

Voraussetzungen:

  • Das Projekt aus den Einheiten 2.1 bis 2.3 mit IONOS_TOKEN festgelegt
  • Ein bestehendes Object Storage-Schlüsselpaar in IONOS_S3_ACCESS_KEY und IONOS_S3_SECRET_KEY, sowie IONOS_S3_REGION=eu-central-3
  • Die lokal installierte AWS CLI

Schritt 1: Datenvolumen hinzufügen

Fügen Sie ionoscloud_volume.api_data aus Abschnitt 1 hinzu. Setzen Sie dessen availability_zone auf AUTO oder auf die Zone, die Sie auf dem Server festgelegt haben, und führen Sie dann den Plan aus:

terraform plan | grep "will be created"

Erwartete Ausgabe:

  # ionoscloud_volume.api_data will be created

Schritt 2: Bucket und Zugriffschlüssel hinzufügen

Fügen Sie ionoscloud_s3_bucket.uploads (mit Ihrem eigenen eindeutigen Suffix), ionoscloud_object_storage_accesskey.taskboard und beide Ausgaben aus Abschnitt 2.2 hinzu. Wenden Sie die Konfiguration anschließend an:

terraform apply -auto-approve | tail -n 5

Erwartete Ausgabe:

Apply complete! Resources: 3 added, 0 changed, 0 destroyed.

Outputs:
uploads_access_key = <sensitive>
uploads_secret_key = <sensitive>

Schritt 3: Das Volume auf dem API-Server einbinden

ssh root@"$(terraform output -raw api_public_ip)" 'lsblk -o NAME,SIZE,TYPE,MOUNTPOINT'

Erwartete Ausgabe:

NAME   SIZE TYPE MOUNTPOINT
vda     20G disk
└─vda1  20G part /
vdb    100G disk

vdb formatieren und einbinden (z. B. mit mkfs.ext4 und einem /etc/fstab-Eintrag) oder diese Schritte zum cloud-config eines neu aufgebauten Servers hinzufügen.

Schritt 4: AWS CLI mit dem neuen Schlüssel konfigurieren

export AWS_ACCESS_KEY_ID="$(terraform output -raw uploads_access_key)"
export AWS_SECRET_ACCESS_KEY="$(terraform output -raw uploads_secret_key)"
aws s3 ls --endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3

Erwartete Ausgabe:

... taskboard-uploads-dev-7f3a

Schritt 5: Objekt hochladen und zurücklesen

echo "hello taskboard" > hello.txt
aws s3 cp hello.txt s3://taskboard-uploads-dev-7f3a/tests/hello.txt \
  --endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3
aws s3 ls s3://taskboard-uploads-dev-7f3a/tests/ \
  --endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3

Erwartete Ausgabe:

upload: ./hello.txt to s3://taskboard-uploads-dev-7f3a/tests/hello.txt
... 16 hello.txt

Prüfliste:

  • [ ] Das Datenvolumen ist an den API-Server angehängt und als zweite Festplatte sichtbar
  • [ ] Der Bucket existiert in eu-central-3
  • [ ] Der neue Zugriffsschlüssel kann den Bucket auflisten und ein Objekt hochladen
  • [ ] terraform output zeigt beide Zugangsdaten als <sensitive>

Bereinigung:

aws s3 rm s3://taskboard-uploads-dev-7f3a --recursive \
  --endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3
terraform destroy -auto-approve

Häufige Fehler

Fehler von Entwicklerinnen und Entwicklern, die bei dem Thema dieser Einheit zu vermeiden sind:

  1. Verwendung von ZONE_3 für einen Server

    • Problem: Eine gemeinsame zone-Variable funktioniert für Volumes, doch der Serverplan oder die Anwendung schlägt mit ZONE_3 fehl.
    • Ursache: Block Storage unterstützt Zone 3, Compute jedoch nur Zone 1, Zone 2 und Auto.
    • Lösung: Verwenden Sie separate Variablen für die Zonen von Servern und Volumes und validieren Sie die Serverzone (Abschnitt 1.2).
  2. Senden eines Bearer-Tokens an Object Storage

    • Problem: Bucket-Operationen schlagen mit einem Authentifizierungsfehler fehl, obwohl IONOS_TOKEN gesetzt ist.
    • Ursache: Object Storage authentifiziert sich mit einem Access Key und einem Secret Key, nicht mit Cloud-API-Tokens.
    • Lösung: Setzen Sie IONOS_S3_ACCESS_KEY und IONOS_S3_SECRET_KEY für den Provider sowie AWS_ACCESS_KEY_ID und AWS_SECRET_ACCESS_KEY für S3-Clients.
  3. Bucket-Name bereits vergeben

    • Problem: terraform apply schlägt bei ionoscloud_s3_bucket in einer neuen Umgebung fehl.
    • Ursache: Bucket-Namen müssen über alle IONOS-Konten und alle Object-Storage-Regionen hinweg eindeutig sein.
    • Lösung: Fügen Sie ein Suffix hinzu, beispielsweise aus random_id, und speichern Sie den Namen in einer Variable pro Umgebung.

Zusammenfassung

Sie können jetzt die Storage-Ebene von TaskBoard als Code provisionieren. Block Storage-Volumes verwenden ESSENTIAL, BALANCED oder PERFORMANCE, werden mit server_id angehängt, wachsen, aber schrumpfen nie, und befinden sich in Zonen, die nicht vollständig mit der Compute-Ebene geteilt werden. IONOS Cloud Object Storage-Buckets werden mit Access Key- und Secret Key-Paaren authentifiziert, die Terraform erstellen und Ihrer Anwendung als sensible Ausgaben übergeben kann, und ein versionisierter Bucket hält Ihren Remote State. NFS fügt geteilten POSIX-Speicher in einem privaten LAN mit dem gleichen Ressourcenmuster hinzu.

Wichtige Punkte:

  • disk_type und die availability_zone des Volumes sind unveränderlich; Volumes können ZONE_3 verwenden, Server nicht
  • Balanced und Performance skalieren mit der Größe; reservieren Sie mindestens 100 GB für volle SSD-Leistung
  • Die Object Storage S3 API verwendet Access Key plus Secret Key, keine Bearer-Tokens (nur die Object Storage Management API für Schlüssel verwendet ein Bearer-Token); Bucket-Namen sind global eindeutig
  • Markieren Sie Credential-Ausgaben als sensitive und schützen Sie den State, der sie noch enthält
  • NFS-Cluster reichen von 2 TiB bis 42 TiB, wachsen in 1 TiB-Schritten und werden an ein privates LAN angehängt

Wichtige Begriffe:

  • Performance-Klasse: Der in disk_type festgelegte Block Storage-Typ: Essential, Balanced oder Performance
  • Vertragszugehöriger Bucket: Ein Bucket, dem der Vertragsinhaber gehört, verfügbar in eu-central-3, eu-central-4 und us-central-1
  • Access Key und Secret Key: Das Schlüsselpaar, das S3-Clients und der Provider für Object Storage verwenden
  • Sensible Ausgabe: Eine Terraform-Ausgabe, die in der CLI-Ausgabe verborgen, aber im State gespeichert ist
  • Share: Ein exportiertes Verzeichnis eines NFS-Clusters, mit eigener Quote und eigenen Client-Gruppen

Nächste Schritte

Weiter lernen: Einheit 2.5: Bereitstellung von Datenbank- und Streaming-Diensten

Verwandte Themen: