15 min de lecture

Objectifs d'apprentissage

À la fin de ce module, vous serez en mesure de:

  • Provisionner et attacher des volumes Block Storage avec `ionoscloud_volume`, en choisissant correctement `disk_type` et `availability_zone`
  • Créer des buckets IONOS Cloud Object Storage avec `ionoscloud_s3_bucket` et générer les identifiants Access Key et Secret Key dans Terraform
  • Exposer les identifiants de stockage depuis Terraform en tant que sorties sensibles pour la configuration des applications
  • Provisionner un stockage de fichiers partagé avec `ionoscloud_nfs_cluster` et `ionoscloud_nfs_share`
  • Sélectionner Block Storage, Object Storage ou Network File Storage dans le code en fonction du modèle d'accès

Unité 2.4 : Provisionnement du stockage en tant que code

Introduction

TaskBoard dispose désormais de calcul, d'un réseau segmenté et d'un équilibreur de charge. Il conserve encore toutes les données sur le disque système du serveur API, et les utilisateurs ne peuvent pas encore téléverser de pièces jointes. Vous avez besoin d'un volume de données qui survit à une reconstruction du serveur, d'un bucket pour les fichiers téléversés, et d'identifiants que votre application peut lire à partir des sorties Terraform.

Dans cette unité, vous provisionnez la couche de stockage en tant que code. Vous ajoutez un volume de données Block Storage avec la classe de performance et la zone appropriées, vous créez un bucket IONOS Cloud Object Storage avec sa propre clé d'accès, vous connectez le modèle d'état distant de l'unité 1.2, et vous découvrez comment Network File Storage (NFS) suit le même modèle pour les fichiers partagés. Dans le Code Lab, vous déployez la couche de stockage de TaskBoard et vous vérifiez le bucket avec un client S3.

1. Block Storage avec ionoscloud_volume

resource "ionoscloud_volume" "api_data" {
  datacenter_id     = ionoscloud_datacenter.taskboard.id
  server_id         = ionoscloud_server.api.id
  name              = "taskboard-api-data"
  size              = 100
  disk_type         = "PERFORMANCE"
  availability_zone = "ZONE_1"
  licence_type      = "UNKNOWN"
  bus               = "VIRTIO"
}

Le volume de données est distinct du volume système en ligne du serveur, ce qui permet de reconstruire le serveur sans perte de données. licence_type (ou image_name) est requis ; pour un volume de données secondaire, la documentation du fournisseur demande UNKNOWN. server_id attache le volume ; laissez-le non défini pour un volume non attaché.

1.1 Choix de la classe de performance

disk_type accepte ESSENTIAL, BALANCED ou PERFORMANCE pour les classes de performance de Block Storage, et il est immuable. Essential est une classe économique destinée aux données telles que les sauvegardes et les archives, Balanced est une classe polyvalente destinée aux serveurs web et aux environnements de développement, et Performance est une classe à haut débit destinée aux données nécessitant une faible latence, telles que les bases de données. Le tableau suivant présente les limites par classe :

Volume de stockage Essential Balanced Performance
Taille minimale par volume 1 Go 1 Go 1 Go
Taille maximale par volume 4 To 4 To 4 To
Vitesse maximale de lecture/écriture, séquentielle 200 Mo/s (statique par instance) 300 Mo/s par volume avec une taille de bloc de 1 Mo 600 Mo/s par volume avec une taille de bloc de 1 Mo
Vitesse maximale de lecture, aléatoire complète 1 100 (statique par instance) 24 000 IOPS avec une taille de bloc de 4 Ko et un minimum de 2 cœurs, 2 Go de RAM par volume 45 000 IOPS avec une taille de bloc de 4 Ko et un minimum de 4 cœurs, 4 Go de RAM par volume
Vitesse maximale d'écriture, aléatoire complète 1 100 (statique par instance) 18 000 IOPS avec une taille de bloc de 4 Ko et un minimum de 2 cœurs, 2 Go de RAM par volume 30 000 IOPS avec une taille de bloc de 4 Ko et un minimum de 4 cœurs, 4 Go de RAM par volume

Comme indiqué ci-dessus, la performance Essential est statique, tandis que Balanced et Performance évoluent avec la taille du volume : Performance offre 75 IOPS par Go pour les lectures aléatoires complètes avec une taille de bloc de 4 Ko. IONOS CLOUD recommande au moins 100 Go pour tirer pleinement parti des classes SSD, et les volumes supérieurs à 600 Go atteignent les valeurs maximales. Le serveur API de TaskBoard dispose de 4 cœurs et de 8 Go de RAM, de sorte qu'un volume Performance de 100 Go convient à sa charge de travail de type base de données.

1.2 La contrainte de zone de disponibilité

resource "ionoscloud_server" "api" {
  # ...
  availability_zone = "ZONE_1"   # servers: AUTO, ZONE_1, ZONE_2
}

resource "ionoscloud_volume" "api_data" {
  # ...
  availability_zone = "ZONE_1"   # volumes: AUTO, ZONE_1, ZONE_2, ZONE_3
}

Block Storage propose Zone 1, Zone 2, Zone 3 et Auto. Compute ne propose que Zone 1, Zone 2 et Auto, de sorte qu'une variable partagée entre les serveurs et les volumes ne doit pas autoriser ZONE_3 :

variable "server_zone" {
  type    = string
  default = "ZONE_1"
  validation {
    condition     = contains(["AUTO", "ZONE_1", "ZONE_2"], var.server_zone)
    error_message = "Servers support AUTO, ZONE_1 or ZONE_2 only."
  }
}

La zone du volume est immuable. Pour déplacer un volume vers une autre zone, créez une instantanée (Unité 2.1) et provisionnez un nouveau volume à partir de celle-ci.

1.3 Redimensionnement

Vous pouvez augmenter size dans le code après le provisionnement, même lorsque le serveur est en cours d'exécution, si le système d'exploitation le prend en charge. La réduction de la taille est impossible. Après une augmentation, étendez la partition et le système de fichiers à l'intérieur de l'invité.

2. IONOS Cloud Object Storage en tant que code

IONOS Cloud Object Storage est compatible avec le protocole S3 et s'authentifie à l'aide d'une paire de clés : une Access Key et une Secret Key. Il n'utilise pas le jeton bearer de l'API Cloud. Object Storage n'est pas activé par défaut ; le propriétaire du contrat ou un administrateur doit l'activer.

2.1 Identifiants du fournisseur et le seau

Le fournisseur gère les seaux à l'aide d'une paire de clés existante, que vous transmettez via l'environnement (Unité 1.2) :

export IONOS_S3_ACCESS_KEY="<access key>"
export IONOS_S3_SECRET_KEY="<secret key>"
export IONOS_S3_REGION="eu-central-3"
resource "ionoscloud_s3_bucket" "uploads" {
  name          = "taskboard-uploads-dev-7f3a"
  region        = "eu-central-3"
  force_destroy = false
  tags = {
    app = "taskboard"
    env = "dev"
  }
}

Le nom du seau doit être unique pour tous les comptes IONOS dans toutes les régions Object Storage et comporter de 3 à 63 caractères. Ajoutez donc un suffixe aléatoire ou propre à l'environnement. region doit correspondre à la région globale (IONOS_S3_REGION ou l'attribut de fournisseur s3_region), ou bien la région globale doit être non définie. Les seaux appartenant au contrat sont disponibles dans eu-central-3, eu-central-4 et us-central-1 ; leur point d'accès suit le modèle s3.<region>.ionoscloud.com.

Avec force_destroy = false, Terraform refuse de supprimer un seau qui contient encore des objets. Définissez-le sur true uniquement pour les environnements éphémères, car cela supprime de manière irréversible tout le contenu.

2.2 Identifiants d'application

TaskBoard ne doit pas utiliser votre clé personnelle. Créez une clé dédiée dans Terraform et exposez-la en tant que sorties sensibles :

resource "ionoscloud_object_storage_accesskey" "taskboard" {
  description = "taskboard-api uploads"
}

output "uploads_access_key" {
  value     = ionoscloud_object_storage_accesskey.taskboard.accesskey
  sensitive = true
}

output "uploads_secret_key" {
  value     = ionoscloud_object_storage_accesskey.taskboard.secretkey
  sensitive = true
}

L'attribut accesskey est une chaîne de 92 caractères. Un utilisateur peut posséder jusqu'à 5 clés d'accès, il est donc recommandé de supprimer les clés des environnements détruits. Pour créer une clé pour un utilisateur IONOS CLOUD distinct, utilisez ionoscloud_s3_key avec le user_id de cet utilisateur ; son attribut calculé secret_key doit également figurer dans une sortie sensible.

sensitive = true masque les valeurs dans les sorties de plan et d'application, mais celles-ci restent stockées en texte brut dans l'état. C'est une raison supplémentaire d'utiliser l'état distant contrôlé par accès décrit ci-dessous.

2.3 Le seau en tant que backend Terraform

L'unité 1.2 a configuré le backend s3 sur un point de terminaison IONOS Cloud Object Storage. Créez le seau d'état une seule fois, en dehors de la configuration qu'il stocke, par exemple dans un petit projet d'initialisation :

resource "ionoscloud_s3_bucket" "tfstate" {
  name   = "taskboard-tfstate-7f3a"
  region = "eu-central-3"
}

resource "ionoscloud_s3_bucket_versioning" "tfstate" {
  bucket = ionoscloud_s3_bucket.tfstate.name
  versioning_configuration {
    status = "Enabled"
  }
}

La gestion des versions vous permet de récupérer un fichier d'état antérieur après une application incorrecte. Le bloc backend lui-même reste tel que présenté dans l'unité 1.2 et s'authentifie avec AWS_ACCESS_KEY_ID et AWS_SECRET_ACCESS_KEY.

3. Network File Storage

NFS est une référence de même modèle pour TaskBoard : vous l'utilisez uniquement si plusieurs serveurs doivent partager des fichiers. Il s'agit d'un service de stockage partagé géré auquel les VM accèdent via un LAN privé en utilisant NFSv4.2.

resource "ionoscloud_nfs_cluster" "shared" {
  name      = "taskboard-shared"
  location  = "de/txl"
  size      = 2048
  size_unit = "GiB"

  nfs {
    min_version = "4.2"
  }

  connections {
    datacenter_id = ionoscloud_datacenter.taskboard.id
    lan           = ionoscloud_lan.app.id
    ip_address    = "10.10.1.8/24"
  }
}

resource "ionoscloud_nfs_share" "attachments" {
  location   = "de/txl"
  cluster_id = ionoscloud_nfs_cluster.shared.id
  name       = "attachments"
  quota      = 102400
  uid        = 1000
  gid        = 1000

  client_groups {
    description = "app tier"
    ip_networks = ["10.10.1.0/24"]
    hosts       = ["10.10.1.11"]
    nfs {
      squash = "root-anonymous"
    }
  }
}

Différences clés par rapport à Block Storage :

  • Taille : la taille du cluster varie de 2 TiB à 42 TiB par incréments de 1 TiB, et ne peut être que augmentée, pas réduite.
  • Partages : chaque partage a un quota facultatif en Mo ; 0 le désactive.
  • Squash : none, root-anonymous ou all-anonymous associe les utilisateurs clients à l'identifiant anonyme.
  • Connexion : le cluster reçoit une adresse dans votre LAN privé ; utilisez-en une de la plage des services managés (Unité 2.2).
  • Montage : les clients montent avec mount -t nfs <cluster-ip>:<share-uuid> <local-mount-path>.

L'API NFS est régionale (https://nfs.{region}.ionos.com), et NFS n'est pas disponible dans gb/bhx.

4. Choisir le stockage dans le code

Modèle d'accès Service Ressource Terraform
Un seul serveur lit et écrit des blocs (fichiers de base de données, données applicatives) Block Storage ionoscloud_volume
De nombreux clients lisent et écrivent des objets via HTTP (téléversements, ressources statiques, sauvegardes, état Terraform) IONOS Cloud Object Storage ionoscloud_s3_bucket
Plusieurs serveurs partagent un système de fichiers POSIX sur un LAN privé Network File Storage ionoscloud_nfs_cluster, ionoscloud_nfs_share

Comme le montre le tableau, la question déterminante est qui accède aux données et par quel protocole. TaskBoard utilise Block Storage pour le volume de données du serveur API et Object Storage pour les téléversements des utilisateurs. Dans l'Unité 2.5, les données transactionnelles sont transférées vers un cluster PostgreSQL managé, de sorte que le volume de données ne contient alors que des fichiers de travail locaux.

import boto3

s3 = boto3.client(
    "s3",
    endpoint_url="https://s3.eu-central-3.ionoscloud.com",
    aws_access_key_id=ACCESS_KEY,
    aws_secret_access_key=SECRET_KEY,
    region_name="eu-central-3",
)
s3.upload_file("report.pdf", "taskboard-uploads-dev-7f3a", "tasks/42/report.pdf")

Le côté application n'a besoin que du point de terminaison et de la paire de clés issus des sorties de la section 2.2. Le module 4 aborde l'intégration en détail.

Fiche de référence rapide de l'API

Principaux points de terminaison d'API derrière les ressources de cette unité :

Méthode Point de terminaison Description
POST /datacenters/{datacenterId}/volumes Créé par ionoscloud_volume (Cloud API)
POST /datacenters/{datacenterId}/servers/{serverId}/volumes Attache un volume à un serveur (Cloud API)
PUT /{bucket} Crée un seau (S3 API, https://s3.<region>.ionoscloud.com)
POST /clusters Créé par ionoscloud_nfs_cluster (NFS API, https://nfs.{region}.ionos.com)
POST /clusters/{clusterId}/shares Créé par ionoscloud_nfs_share (NFS API)

URL de base : https://api.ionos.com/cloudapi/v6 (Object Storage et NFS utilisent leurs propres points de terminaison, comme indiqué ci-dessus) Authentification : Authorization: Bearer <token> (Object Storage : Access Key et Secret Key)

Atelier de code

Objectif : Déployer la couche de stockage de TaskBoard avec Terraform : un volume de données Block Storage attaché au serveur API et un seau Object Storage avec sa propre clé d'accès, les identifiants étant définis comme des sorties sensibles.

Prérequis :

  • Le projet des Unités 2.1 à 2.3 avec IONOS_TOKEN défini
  • Une paire de clés Object Storage existante dans IONOS_S3_ACCESS_KEY et IONOS_S3_SECRET_KEY, ainsi que IONOS_S3_REGION=eu-central-3
  • L'AWS CLI installé localement

Étape 1 : Ajouter le volume de données

Ajoutez ionoscloud_volume.api_data de la section 1. Définissez son availability_zone sur AUTO, ou sur la zone que vous avez définie sur le serveur, puis exécutez le plan :

terraform plan | grep "will be created"

Sortie attendue :

  # ionoscloud_volume.api_data will be created

Étape 2 : Ajouter le bucket et la clé d'accès

Ajoutez ionoscloud_s3_bucket.uploads (avec votre propre suffixe unique), ionoscloud_object_storage_accesskey.taskboard et les deux sorties de la section 2.2. Appliquez ensuite :

terraform apply -auto-approve | tail -n 5

Sortie attendue :

Apply complete! Resources: 3 added, 0 changed, 0 destroyed.

Outputs:
uploads_access_key = <sensitive>
uploads_secret_key = <sensitive>

Étape 3 : Monter le volume sur le serveur API

ssh root@"$(terraform output -raw api_public_ip)" 'lsblk -o NAME,SIZE,TYPE,MOUNTPOINT'

Sortie attendue :

NAME   SIZE TYPE MOUNTPOINT
vda     20G disk
└─vda1  20G part /
vdb    100G disk

Formatez et montez vdb (par exemple avec mkfs.ext4 et une entrée /etc/fstab), ou ajoutez ces étapes à la configuration cloud-config d'un serveur reconstruit.

Étape 4 : Configurer l'AWS CLI avec la nouvelle clé

export AWS_ACCESS_KEY_ID="$(terraform output -raw uploads_access_key)"
export AWS_SECRET_ACCESS_KEY="$(terraform output -raw uploads_secret_key)"
aws s3 ls --endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3

Sortie attendue :

... taskboard-uploads-dev-7f3a

Étape 5 : Téléverser et relire un objet

echo "hello taskboard" > hello.txt
aws s3 cp hello.txt s3://taskboard-uploads-dev-7f3a/tests/hello.txt \
  --endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3
aws s3 ls s3://taskboard-uploads-dev-7f3a/tests/ \
  --endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3

Sortie attendue :

upload: ./hello.txt to s3://taskboard-uploads-dev-7f3a/tests/hello.txt
... 16 hello.txt

Liste de contrôle de validation :

  • [ ] Le volume de données est attaché au serveur API et visible en tant que deuxième disque
  • [ ] Le bucket existe dans eu-central-3
  • [ ] La nouvelle clé d'accès peut lister le bucket et téléverser un objet
  • [ ] terraform output affiche les deux identifiants comme <sensitive>

Nettoyage :

aws s3 rm s3://taskboard-uploads-dev-7f3a --recursive \
  --endpoint-url https://s3.eu-central-3.ionoscloud.com --region eu-central-3
terraform destroy -auto-approve

Erreurs courantes

Erreurs de développement à éviter concernant le sujet de cette unité :

  1. Utilisation de ZONE_3 pour un serveur

    • Problème : Une variable partagée zone fonctionne pour les volumes, mais le plan ou l'application du serveur échoue avec ZONE_3.
    • Cause : Block Storage prend en charge la Zone 3, mais Compute ne prend en charge que la Zone 1, la Zone 2 et Auto.
    • Correction : Maintenez des variables distinctes pour les zones du serveur et des volumes, et validez la zone du serveur (section 1.2).
  2. Envoi d'un jeton bearer à Object Storage

    • Problème : Les opérations sur les buckets échouent avec une erreur d'authentification, bien que IONOS_TOKEN soit défini.
    • Cause : Object Storage s'authentifie à l'aide d'une Access Key et d'une Secret Key, et non avec des jetons Cloud API.
    • Correction : Définissez IONOS_S3_ACCESS_KEY et IONOS_S3_SECRET_KEY pour le fournisseur, ainsi que AWS_ACCESS_KEY_ID et AWS_SECRET_ACCESS_KEY pour les clients S3.
  3. Nom de bucket déjà utilisé

    • Problème : terraform apply échoue sur ionoscloud_s3_bucket dans un nouvel environnement.
    • Cause : Les noms de buckets doivent être uniques pour tous les comptes IONOS et toutes les régions Object Storage.
    • Correction : Ajoutez un suffixe, par exemple à partir de random_id, et conservez le nom dans une variable par environnement.

Résumé

Vous pouvez désormais provisionner la couche de stockage de TaskBoard en tant que code. Les volumes Block Storage utilisent ESSENTIAL, BALANCED ou PERFORMANCE, sont attachés avec server_id, augmentent mais ne diminuent jamais, et résident dans des zones que le calcul ne partage pas entièrement. Les buckets IONOS Cloud Object Storage s'authentifient avec des paires Access Key et Secret Key que Terraform peut créer et transmettre à votre application en tant que sorties sensibles, et un bucket versionné conserve votre état distant. NFS ajoute un stockage POSIX partagé dans un LAN privé avec le même modèle de ressources.

Points clés :

  • disk_type et le availability_zone du volume sont immuables ; les volumes peuvent utiliser ZONE_3, les serveurs ne le peuvent pas
  • Les classes Balanced et Performance évoluent avec la taille ; réservez au moins 100 Go pour une performance SSD complète
  • L'API S3 de Object Storage utilise une Access Key et une Secret Key, et non des jetons bearer (seule l'API de gestion de Object Storage pour les clés utilise un jeton bearer) ; les noms de buckets sont uniques au niveau global
  • Marquez les sorties de credentials sensitive, et protégez l'état qui les contient encore
  • Les clusters NFS vont de 2 TiB à 42 TiB, augmentent par pas de 1 TiB et s'attachent à un LAN privé

Terminologie importante :

  • Classe Performance : Le type Block Storage défini dans disk_type : Essential, Balanced ou Performance
  • Bucket appartenant au contrat : Un bucket appartenant au propriétaire du contrat, disponible dans eu-central-3, eu-central-4 et us-central-1
  • Access Key et Secret Key : La paire de clés utilisée par les clients S3 et le fournisseur pour Object Storage
  • Sortie sensible : Une sortie Terraform masquée de la sortie CLI mais toujours stockée dans l'état
  • Partage : Un répertoire exporté d'un cluster NFS, avec sa propre quota et ses groupes de clients

Prochaines étapes

Continuer l'apprentissage : Unité 2.5 : Provisioning de base de données et de service de streaming

Sujets connexes :