12 min de lecture

Objectifs d'apprentissage

À la fin de ce module, vous serez en mesure de:

  • Choisir entre les buckets appartenant au contrat et les buckets appartenant à l'utilisateur, en fonction de la région, du modèle d'accès et des fonctionnalités prises en charge par chaque type
  • Concevoir une rétention infalsifiable avec Object Lock et un contrôle des coûts avec des règles de cycle de vie, en sachant quels paramètres sont définitifs lors de la création du bucket
  • Planifier des copies inter-régions dans le cadre des règles de réplication, y compris les limites applicables aux buckets verrouillés et aux buckets appartenant au contrat
  • Attribuer à IONOS Cloud Object Storage ses rôles dans l'architecture : archive d'audit, cible de sauvegarde, stockage d'artefacts et de jeux de données, et destination de messages en échec
  • Créer un bucket avec Object Lock et une règle de cycle de vie dans Data Center Designer (DCD)

Unité 5.2 : Object Storage

Introduction

Presque toutes les unités ultérieures envoient des données vers un bucket : l'exportation du journal d'activité de l'unité 2.3, les journaux de flux de l'unité 3.2, les sauvegardes de bases de données de l'unité 5.3, l'archive d'événements de l'unité 5.6. IONOS Cloud Object Storage est le seul magasin auquel chaque niveau accède, si bien que ses choix de conception, effectués une seule fois, façonnent l'ensemble de ces flux.

Deux de ces choix ne peuvent pas être réexaminés. Le type de bucket fixe la région et le ensemble de fonctionnalités, et Object Lock ne peut être activé que lors de la création du bucket. Cette unité conçoit les deux et se termine par la construction du bucket d'archive d'audit de FinCorp dans le DCD.

1. Le modèle : espace de noms à plat, clés, deux types de buckets

1.1 Fonctionnement de l'accès

Object Storage est conforme au protocole S3, de sorte que les outils S3 et les applications conçues pour les plateformes compatibles S3 peuvent y fonctionner. Les données sont stockées sous forme d'objets et de buckets dans un environnement à plat : un « dossier » est un préfixe de clé, et non un répertoire. Les objets comportent des métadonnées et un identifiant unique, et le service les stocke au moyen du codage par suppression, qui divise les données en fragments avec des pièces redondantes répartis sur un ensemble de serveurs.

L'authentification utilise une paire de clés, une Access Key et une Secret Key, que vous générez manuellement dans le DCD ou via l'API de gestion Object Storage. Un utilisateur peut créer un maximum de cinq clés, pour différentes applications S3. Un utilisateur qui n'est ni le propriétaire du contrat ni un administrateur doit appartenir à un groupe disposant du privilège Use Object Storage. Traitez les clés comme tout autre identifiant de service : une par application, détenue par un compte de service (Unité 2.2), désactivée lorsque l'application est mise à la retraite.

1.2 Propriété du contrat ou de l'utilisateur

Le type de bucket détermine qui est propriétaire du bucket et où il peut être situé. Les buckets de type propriété du contrat utilisent le propriétaire du contrat comme propriétaire du bucket, tous les utilisateurs du contrat voient la liste des buckets, et seul le propriétaire du contrat ou un administrateur accorde l'accès au contenu. Les buckets de type propriété de l'utilisateur appartiennent à l'utilisateur qui les a créés et sont invisibles pour les autres utilisateurs. Le passage vers le modèle de propriété du contrat est l'objectif principal des futures mises à jour d'Object Storage.

Les buckets de type propriété du contrat sont créés dans eu-central-4 (Francfort), eu-central-3 (Berlin) et us-central-1 (Lenexa), chacun ayant son propre point d'accès, tel que s3.eu-central-4.ionoscloud.com. Les buckets de type propriété de l'utilisateur sont créés dans de (Francfort), eu-central-2 (Berlin) et eu-south-2 (Logroño). La certification BSI IT-Grundschutz pour la région eu-central-3 est actuellement en attente, c'est pourquoi l'archive d'audit de FinCorp se trouve dans eu-central-4 (Unité 2.3).

Les ensembles de fonctionnalités diffèrent :

Fonctionnalités Buckets de type propriété du contrat Buckets de type propriété de l'utilisateur
ACL de bucket Utiliser pour partager l'accès à d'autres contrats. Pour partager l'accès avec des utilisateurs du même contrat, utiliser la Bucket Policy. Utiliser pour partager l'accès entre les utilisateurs du contrat et avec d'autres contrats.
Journalisation d'accès aux buckets Non pris en charge Pris en charge
Réplication de buckets La réplication inter-régions de buckets n'est pas prise en charge pour les buckets de type propriété du contrat, mais sera bientôt disponible. Vous ne pouvez répliquer que les buckets de type propriété de l'utilisateur dans la région des buckets de type propriété du contrat. Cette fonction est prise en charge à la fois via le DCD et l'API. Elle prend en charge la réplication au sein des buckets de type propriété de l'utilisateur du même utilisateur et dans les buckets de type propriété du contrat. Vous pouvez également répliquer au sein des régions où les buckets de type propriété de l'utilisateur sont pris en charge.
Gestion des identités et de l'accès (IAM) Non, disponible à brève échéance. Non pris en charge
Interrogation d'objets Pris en charge Non pris en charge
Redirections pour l'hébergement de sites web statiques Pris en charge Non pris en charge
Transfert de données gratuit vers les VM dans la même région Pris en charge Non pris en charge
Journaux de flux Non pris en charge Pris en charge

Comme indiqué ci-dessus, le choix se fait par charge de travail. Les buckets de type propriété du contrat conviennent aux données à l'échelle de l'organisation et sont gratuits à lire depuis les VM de la même région. Les journaux de flux, en revanche, ne fonctionnent pas sur les buckets de type propriété du contrat, de sorte que la destination des journaux de flux de l'Unité 3.2 est un bucket de type propriété de l'utilisateur dans de.

2. Rétention et coût : Object Lock et cycle de vie

2.1 Object Lock

Object Lock applique une protection Write Once Read Many (WORM), empêchant la suppression ou la modification des objets pendant une durée définie. Une fois un bucket créé sans Object Lock, il est impossible de l'ajouter ultérieurement. L'activation d'Object Lock active également le versioning, et aucun des deux ne peut être désactivé par la suite.

Deux modes existent. Governance permet aux utilisateurs disposant de permissions spéciales de outrepasser le verrouillage, par exemple pour corriger une erreur. Compliance impose le verrouillage sans aucune possibilité d'outrepasser : la période de rétention ne peut ni être raccourcie ni supprimée, ni par le propriétaire du bucket ni par IONOS CLOUD, tant qu'elle n'est pas écoulée. Le DCD définit une période de rétention allant jusqu'à 365 jours ; des périodes plus longues, allant jusqu'à 100 ans, sont configurées via l'API.

Deux détails sont importants pour les audits. Une demande de suppression sur un objet verrouillé crée un marqueur de suppression au lieu de supprimer la version, et les marqueurs de suppression eux-mêmes ne sont pas protégés. Les preuves restent intactes, mais un listing peut paraître vide ; les auditeurs consultent les versions, et non le listing actuel.

2.2 Règles de cycle de vie

Une règle de cycle de vie s'applique à l'ensemble du bucket ou à un préfixe donné, et prend en charge quatre actions : expirer les versions actuelles, supprimer définitivement les versions non actuelles, supprimer les marqueurs de suppression expirés des objets, et supprimer les téléchargements multipart incomplets. Une configuration peut contenir jusqu'à 1 000 règles, et une seule règle peut s'appliquer à un préfixe donné.

Seule la classe de stockage Standard existe, si bien que les règles de cycle de vie ne peuvent pas déplacer les objets vers une couche moins coûteuse : le contrôle des coûts passe par la suppression. Sur un bucket verrouillé, les versions non actuelles ne peuvent pas être supprimées avant la fin de leur période de rétention, si bien que la règle de cycle de vie et le verrouillage fonctionnent ensemble : le verrouillage garantit le minimum, et la règle supprime les données après.

3. Copies inter-régions et rôles d'un bucket

3.1 Règles de réplication

La réplication nécessite l'activation de la gestion des versions sur le bucket source et sur le bucket de destination, ne copie que les objets téléversés après son activation, et ne s'effectue pas en chaîne : un objet qui est lui-même un répliqué n'est pas répliqué à nouveau. Le trafic de réplication, y compris le trafic inter-régions, n'est pas compté dans l'utilisation des données.

Trois limites guident la conception. La réplication inter-régions n'est pas prise en charge pour les buckets appartenant à un contrat. Un bucket avec Object Lock ne peut pas être une source de réplication, bien qu'il puisse être une destination. Et une suppression qui désigne une version d'objet ne la supprime que dans le bucket source. Pour l'archive d'audit verrouillée de FinCorp, une copie à Berlin provient donc de l'exportateur lui-même, qui écrit chaque fichier quotidien dans un second bucket, et non de la réplication de bucket.

3.2 Les quatre rôles

Rôle Conception du bucket Unité
Archive d'audit Appartenant à un contrat, Object Lock en mode Conformité, suppression par cycle de vie après la période de rétention 2.3, cette unité
Cible de sauvegarde Emplacements de sauvegarde pour les bases de données et In-Memory DB ; cible de stockage pour Backup Service 5.3, 5.5, 5.7
Stockage d'artefacts et de jeux de données Appartenant à un contrat dans la région de calcul, afin que les VM y accèdent sans frais de transfert 6.5
Destination de messages en échec Préfixe distinct par sujet, expiration par cycle de vie après la période d'investigation 5.6

Déroulement de la mise en œuvre dans DCD

Vous allez créer le bucket d'archive d'audit de FinCorp à Francfort avec Object Lock en mode Compliance, puis ajouter la règle de cycle de vie qui supprime les anciennes versions une fois leur période de rétention écoulée. Cela met en œuvre le rôle d'archive décrit à la section 3.2.

Prérequis : un compte de propriétaire de contrat ou d'administrateur, car seuls ceux-ci peuvent créer des buckets appartenant au contrat ; au moins une clé d'accès active ; la période de rétention approuvée par le bureau des risques de FinCorp.

Objectif de construction : Créer un bucket, configurer Object Lock et une politique de cycle de vie.

Étapes (dans Data Center Designer) :

  1. Accédez à Menu > Backup & Storage > Object Storage. Dans l'onglet Buckets, sélectionnez Create bucket.
  2. Dans Bucket region, sélectionnez eu-central-4.
  3. Saisissez le Bucket name fc-audit-archive-fra. Si un bucket portant le même nom existe déjà dans IONOS Cloud Object Storage, le bucket ne sera pas créé ; préfixez donc les noms avec votre organisation.
  4. Sélectionnez Enable Object Lock. C'est le seul moment où cela est possible.
  5. Sélectionnez le mode Compliance et saisissez une Retention period en jours. DCD accepte jusqu'à 365 jours ; configurez la période pluriannuelle approuvée via l'API après la création (voir l'extrait ci-dessous).
  6. Sélectionnez Create bucket. Le versionnage est désormais activé et ne peut pas être suspendu.
  7. Ouvrez le bucket, sélectionnez Bucket settings, puis sous Data management > Lifecycle, sélectionnez Add a rule.
  8. Saisissez le Lifecycle Rule name expire-after-retention et définissez le Rule Scope sur le préfixe activity-logs/. Sélectionnez Expire current versions avec un nombre de jours égal à la période de rétention, Permanently delete noncurrent versions of objects avec une courte période de grâce après celle-ci, et Delete incomplete multipart uploads après quelques jours.
  9. Sélectionnez Save.

Une période de rétention plus longue est configurée via l'API S3. L'aspect architectural est que le mode et la rétention par défaut constituent une règle au niveau du bucket qui s'applique aux objets nouvellement téléversés :

aws s3api put-object-lock-configuration \
 --bucket fc-audit-archive-fra \
 --object-lock-configuration '{ "ObjectLockEnabled": "Enabled", "Rule": { "DefaultRetention": { "Mode": "COMPLIANCE", "Days": <retention-days> }}}' \
 --endpoint-url https://s3.eu-central-4.ionoscloud.com

Erreurs courantes :

  • Créer le bucket d'abord et prévoir d'« ajouter le verrouillage plus tard ». Il ne peut pas être ajouté.
  • Tester le mode Compliance avec une période de rétention longue. Les objets de test restent jusqu'à la fin de la période ; testez avec le mode Governance et une période courte dans un bucket distinct.
  • S'attendre à ce qu'une règle de cycle de vie déplace les données vers une classe moins coûteuse. Seule la classe Standard existe ; le cycle de vie supprime les données.
  • Choisir un bucket appartenant à un contrat comme destination des journaux de flux. Les journaux de flux nécessitent un bucket appartenant à un utilisateur.
  • Prévoir la réplication d'un bucket depuis l'archive verrouillée. Un bucket verrouillé peut recevoir des répliques, mais ne peut pas servir de source.

Résumé

Object Storage est le magasin auquel chaque niveau écrit, il convient donc de définir sa structure dès le départ. Le type de bucket détermine la région et les fonctionnalités, Object Lock est une décision prise à la création, avec la gestion des versions associée, et les règles de cycle de vie contrôlent les coûts uniquement par suppression. La réplication est gratuite mais limitée : aucune réplication inter-régions pour les buckets appartenant au contrat et aucun bucket source verrouillé, de sorte qu'une archive verrouillée reçoit sa seconde copie de l'écriture.

Points clés :

  • Les buckets appartenant au contrat sont situés dans eu-central-4, eu-central-3 et us-central-1 ; les buckets appartenant à l'utilisateur sont situés dans de, eu-central-2 et eu-south-2.
  • Object Lock doit être activé à la création du bucket ; le mode Compliance ne peut être réduit par personne.
  • Le DCD définit une rétention allant jusqu'à 365 jours ; l'API définit des périodes plus longues.
  • Les règles de cycle de vie expirent et suppriment ; il n'y a pas de transition de classe de stockage.
  • Les journaux de flux et la journalisation d'accès aux buckets nécessitent des buckets appartenant à l'utilisateur.

Terminologie importante :

  • Bucket appartenant au contrat : un bucket appartenant au propriétaire du contrat, visible par tous les utilisateurs du contrat, avec un accès accordé par un propriétaire ou un administrateur.
  • Mode Compliance : le mode Object Lock dans lequel personne ne peut réduire ou supprimer la période de rétention.
  • Marqueur de suppression : le marqueur de position créé par une demande de suppression sur un bucket versionné, au lieu de supprimer la version de l'objet.