9 Min. Lesezeit

Lernziele

Am Ende dieses Moduls werden Sie in der Lage sein:

  • zwischen vertraglich verwalteten und benutzerverwalteten Buckets nach Region, Zugriffsmodell und den von jedem Typ unterstützten Funktionen wählen
  • eine manipulationssichere Aufbewahrung mit Object Lock und eine Kostenkontrolle mit Lifecycle-Regeln entwerfen, wobei Sie wissen, welche Einstellungen bei der Bucket-Erstellung endgültig sind
  • kopien zwischen Regionen innerhalb der Replikationsregeln planen, einschließlich der Einschränkungen für gesperrte und vertraglich verwaltete Buckets
  • IONOS Cloud Object Storage seine Rollen in der Architektur zuweisen: Audit-Archiv, Sicherungsziel, Speicher für Artefakte und Datensätze sowie Ziel für Dead-Letter-Nachrichten
  • ein Bucket mit Object Lock und einer Lifecycle-Regel im Data Center Designer (DCD) erstellen

Einheit 5.2: Object Storage

Einführung

Fast jede spätere Einheit sendet Daten in einen Bucket: der Export der Aktivitätsprotokolle aus Einheit 2.3, die Flussprotokolle aus Einheit 3.2, die Datenbank-Sicherungen aus Einheit 5.3 und das Ereignisarchiv aus Einheit 5.6. IONOS Cloud Object Storage ist der einzige Speicher, auf den jede Ebene zugreift. Daher bestimmen die einmal getroffenen Designentscheidungen alle diese Datenflüsse.

Zwei dieser Entscheidungen können nicht nachträglich geändert werden. Der Bucket-Typ legt die Region und den Funktionsumfang fest, und Object Lock kann nur bei der Erstellung des Buckets aktiviert werden. In dieser Einheit werden beide Aspekte entworfen, und am Ende wird das Audit-Archiv-Bucket von FinCorp im DCD erstellt.

1. Das Modell: Flacher Namensraum, Schlüssel, zwei Bucket-Typen

1.1 Funktionsweise des Zugriffs

Object Storage folgt dem S3-Protokoll, sodass S3-Werkzeuge und für S3-kompatible Plattformen entwickelte Anwendungen damit funktionieren. Daten werden als Objekte und Buckets in einer flachen Umgebung gehalten: ein „Ordner" ist ein Schlüsselpräfix, kein Verzeichnis. Objekte tragen Metadaten und eine eindeutige Kennung, und der Dienst speichert sie mit Erasure Coding, das Daten in Fragmente mit redundanten Anteilen über einen Satz von Servern aufteilt.

Die Authentifizierung verwendet ein Schlüsselpaar, einen Access Key und einen Secret Key, die Sie manuell im DCD oder über die Object Storage Management API generieren. Ein Benutzer kann maximal fünf Schlüssel für verschiedene S3-Anwendungen erstellen. Ein Benutzer, der weder der Vertragsinhaber noch ein Administrator ist, benötigt die Mitgliedschaft in einer Gruppe mit dem Use Object Storage-Privileg. Behandeln Sie Schlüssel wie jede andere Dienstanmeldung: ein Schlüssel pro Anwendung, verwaltet durch ein Dienstkonto (Einheit 2.2), deaktiviert, wenn die Anwendung außer Dienst gestellt wird.

1.2 Vertragsgebunden oder benutzergebunden

Der Bucket-Typ bestimmt, wer der Eigentümer des Buckets ist und wo er sich befinden kann. Vertragsgebundene Buckets verwenden den Vertragsinhaber als Bucket-Eigentümer, jeder Benutzer im Vertrag sieht die Bucket-Liste, und nur der Vertragsinhaber oder ein Administrator erteilt Zugriff auf den Inhalt. Benutzergebundene Buckets gehören dem Benutzer, der sie erstellt hat, und sind für andere Benutzer unsichtbar. Der Wechsel zum vertragsgebundenen Modell ist der Hauptfokus zukünftiger Object Storage-Updates.

Vertragsgebundene Buckets werden in eu-central-4 (Frankfurt), eu-central-3 (Berlin) und us-central-1 (Lenexa) erstellt, jeweils mit seinem eigenen Endpoint, wie s3.eu-central-4.ionoscloud.com. Benutzergebundene Buckets werden in de (Frankfurt), eu-central-2 (Berlin) und eu-south-2 (Logroño) erstellt. Die BSI IT-Grundschutz-Zertifizierung für die eu-central-3-Region ist derzeit ausstehend, weshalb das Audit-Archiv von FinCorp in eu-central-4 (Einheit 2.3) liegt.

Die Funktionsumfangs unterscheiden sich:

Funktionen Vertragsgebundene Buckets Benutzergebundene Buckets
Bucket ACL Verwenden Sie diese, um Zugriff auf andere Verträge freizugeben. Um Zugriff mit Benutzern aus demselben Vertrag freizugeben, verwenden Sie Bucket Policy. Verwenden Sie diese, um Zugriff zwischen Benutzern des Vertrags und auf andere Verträge freizugeben.
Bucket Access Logging Nicht unterstützt Unterstützt
Bucket Replikation Quervernetzte Replikation von Buckets über Regionen hinweg wird für vertragsgebundene Buckets nicht unterstützt, ist aber bald verfügbar. Sie können nur benutzergebundene Buckets in der Region der vertragsgebundenen Buckets replizieren. Diese Funktion wird sowohl über das DCD als auch über die API unterstützt. Unterstützt Replikation innerhalb der benutzergebundenen Buckets desselben Benutzers und in vertragsgebundenen Buckets. Sie können auch innerhalb der Regionen replizieren, in denen benutzergebundene Buckets unterstützt werden.
Identity and Access Management (IAM) Nein, in naher Zukunft verfügbar. Nicht unterstützt
Object Query Unterstützt Nicht unterstützt
Weiterleitungen für die statische Website-Bereitstellung Unterstützt Nicht unterstützt
Kostenloser Datentransfer zu VMs in derselben Region Unterstützt Nicht unterstützt
Flow logs Nicht unterstützt Unterstützt

Wie oben gezeigt, ist die Wahl pro Arbeitslast. Vertragsgebundene Buckets eignen sich für organisationsweite Daten und sind kostenlos von VMs in derselben Region lesbar. Flow logs funktionieren jedoch nicht mit vertragsgebundenen Buckets, daher ist das Flow-Log-Ziel von Einheit 3.2 ein benutzergebundener Bucket in de.

2. Aufbewahrung und Kosten: Object Lock und Lebenszyklus

2.1 Object Lock

Object Lock wendet den Schutz Write Once Read Many (WORM) an und verhindert, dass Objekte für einen festgelegten Zeitraum gelöscht oder geändert werden. Wenn ein Bucket ohne Object Lock erstellt wird, kann dieser Schutz später nicht mehr hinzugefügt werden. Die Aktivierung von Object Lock aktiviert auch die Versionierung, und beide Funktionen können danach nicht mehr deaktiviert werden.

Es gibt zwei Modi. Governance ermöglicht Benutzern mit besonderen Berechtigungen, das Sperren außer Kraft zu setzen, beispielsweise um einen Fehler zu korrigieren. Compliance erzwingt das Sperren ohne jegliche Möglichkeit der Außerkraftsetzung: Die Aufbewahrungsfrist kann weder verkürzt noch entfernt werden, weder durch den Bucket-Besitzer noch durch IONOS CLOUD, bis sie abgelaufen ist. Der DCD setzt eine Aufbewahrungsfrist von bis zu 365 Tagen; längere Fristen, bis zu 100 Jahre, werden über die API festgelegt.

Zwei Details sind für Audits wichtig. Eine Löschanfrage für ein gesperrtes Objekt erstellt einen Löschmarker, anstatt die Version zu entfernen, und Löschmarker selbst sind nicht geschützt. Die Beweismittel bleiben intakt, aber eine Auflistung kann leer erscheinen; Auditoren lesen Versionen, nicht die aktuelle Auflistung.

2.2 Lebenszyklusregeln

Eine Lebenszyklusregel gilt für das gesamte Bucket oder für ein einzelnes Präfix und unterstützt vier Aktionen: Verfall aktueller Versionen, endgültige Löschung nicht aktueller Versionen, Löschung abgelaufener Löschmarker für Objekte und Löschung unvollständiger Multipart-Uploads. Eine Konfiguration enthält bis zu 1.000 Regeln, und nur eine Regel kann für ein gegebenes Präfix gelten.

Es existiert nur die Speicherklasse Standard, daher können Lebenszyklusregeln Objekte nicht in eine günstigere Ebene verschieben: Kostenkontrolle bedeutet Löschung. In einem gesperrten Bucket können nicht aktuelle Versionen nicht gelöscht werden, bevor ihre Aufbewahrungsfrist endet, daher wirken die Lebenszyklusregel und das Sperren zusammen: Das Sperren garantiert das Minimum, die Regel entfernt Daten danach.

3. Kopien über Regionen hinweg und die Rollen eines Buckets

3.1 Replikationsregeln

Replikation erfordert Versionierung sowohl im Quell- als auch im Zieltarget-Bucket, kopiert nur Objekte, die nach der Aktivierung hochgeladen wurden, und verkettert nicht: Ein Objekt, das selbst eine Replikate ist, wird nicht erneut repliziert. Replikationsverkehr, einschließlich des Verkehrs über Regionen hinweg, wird nicht auf die Datennutzung angerechnet.

Drei Grenzen steuern das Design. Replikation über Regionen hinweg wird für vertragsgebundene Buckets nicht unterstützt. Ein Bucket mit Object Lock kann keine Replikationsquelle sein, kann jedoch als Ziel dienen. Und eine Löschung, die eine Objektversion benennt, löscht diese nur in der Quelle. Für das gesperrte Audit-Archiv von FinCorp stammt eine Kopie in Berlin daher aus dem Exporter selbst, der jede tägliche Datei in ein zweites Bucket schreibt, und nicht aus der Bucket-Replikation.

3.2 Die vier Rollen

Rolle Bucket-Design Einheit
Audit-Archiv Vertragsgebunden, Object Lock im Compliance-Modus, Lifecycle-Löschung nach der Aufbewahrungsfrist 2.3, diese Einheit
Sicherungsziel Speicherorte für Datenbank- und In-Memory DB-Sicherungen; ein Backup Service-Speicherziel 5.3, 5.5, 5.7
Speicher für Artefakte und Datensätze Vertragsgebunden in der Compute-Region, damit VMs darauf ohne Transfergebühren zugreifen 6.5
Ziel für Dead-Letter Eigener Präfix pro Thema, Lifecycle-Ablauf nach dem Untersuchungszeitfenster 5.6

Implementierungsanleitung für den DCD

Sie erstellen den Audit-Archiv-Bucket von FinCorp in Frankfurt mit Object Lock im Compliance-Modus und fügen anschließend die Lifecycle-Regel hinzu, die alte Versionen entfernt, sobald deren Aufbewahrungsfrist abgelaufen ist. Damit wird die Archivrolle aus Abschnitt 3.2 umgesetzt.

Voraussetzungen: ein Vertragsinhaber- oder Administratorkonto, da nur diese Konten vertragsgebundene Buckets erstellen können; mindestens ein aktiver Zugriffschlüssel; die von der Risikobehörde von FinCorp freigegebene Aufbewahrungsfrist.

Bauziel: Erstellen eines Buckets, Festlegung von Object Lock und einer Lifecycle-Richtlinie.

Schritte (im Data Center Designer):

  1. Gehen Sie zu Menü > Sicherung & Speicher > Object Storage. Wählen Sie im Tab Buckets die Option Bucket erstellen.
  2. Wählen Sie unter Bucket-Region eu-central-4.
  3. Geben Sie den Bucket-Namen fc-audit-archive-fra ein. Falls bereits ein Bucket mit demselben Namen in IONOS Cloud Object Storage existiert, wird der Bucket nicht erstellt; fügen Sie daher Ihren Organisationstext als Präfix vor.
  4. Wählen Sie Object Lock aktivieren. Dies ist der einzige Zeitpunkt, zu dem dies möglich ist.
  5. Wählen Sie den Modus Compliance und geben Sie eine Aufbewahrungsfrist in Tagen an. Der DCD akzeptiert bis zu 365 Tage; die freigegebene mehrjährige Frist wird nach der Erstellung über die API festgelegt (siehe Snippet unten).
  6. Wählen Sie Bucket erstellen. Die Versionierung ist nun aktiviert und kann nicht mehr pausiert werden.
  7. Öffnen Sie den Bucket, wählen Sie Bucket-Einstellungen und unter Datenverwaltung > Lifecycle die Option Regel hinzufügen.
  8. Geben Sie den Namen der Lifecycle-Regel expire-after-retention ein und setzen Sie den Regelbereich auf das Präfix activity-logs/. Wählen Sie Aktuelle Versionen ablaufen lassen mit einer Tagesanzahl, die der Aufbewahrungsfrist entspricht, Nichtaktuelle Versionen von Objekten dauerhaft löschen mit einer kurzen Gnadenfrist danach und Unvollständige Multipart-Uploads löschen nach einigen Tagen.
  9. Wählen Sie Speichern.

Eine längere Aufbewahrungsfrist wird über die S3 API festgelegt. Der architektonische Aspekt besteht darin, dass der Modus und die Standardaufbewahrungsfrist eine Bucket-Ebene Regel darstellen, die auf neu hochgeladene Objekte angewendet wird:

aws s3api put-object-lock-configuration \
 --bucket fc-audit-archive-fra \
 --object-lock-configuration '{ "ObjectLockEnabled": "Enabled", "Rule": { "DefaultRetention": { "Mode": "COMPLIANCE", "Days": <retention-days> }}}' \
 --endpoint-url https://s3.eu-central-4.ionoscloud.com

Häufige Fehler:

  • Erstellen des Buckets zuerst und die Planung, das „Lock später hinzuzufügen". Es kann nicht hinzugefügt werden.
  • Testen des Compliance-Modus mit einer langen Aufbewahrungsfrist. Testobjekte verbleiben bis zum Ablauf der Frist; testen Sie im Governance-Modus mit einer kurzen Frist in einem separaten Bucket.
  • Die Erwartung, dass eine Lifecycle-Regel Daten in eine günstigere Klasse verschiebt. Es existiert nur Standard; Lifecycle löscht.
  • Auswahl eines vom Vertrag verwalteten Buckets als Ziel für Flow-Logs. Flow-Logs benötigen ein vom Benutzer verwaltetes Bucket.
  • Planung der Bucket-Replikation aus dem gesperrten Archiv. Ein gesperrtes Bucket kann Replikate empfangen, aber nicht als Quelle dienen.

Zusammenfassung

Object Storage ist der Speicher, an den jede Ebene schreibt, daher sollte seine Struktur von vornherein festgelegt werden. Der Bucket-Typ bestimmt die Region und die Funktionen, Object Lock ist eine Entscheidung zum Zeitpunkt der Erstellung, an die Versionierung gekoppelt ist, und Lifecycle-Regeln steuern die Kosten ausschließlich durch Löschung. Replikation ist kostenlos, aber begrenzt: keine Replikation über Regionen hinweg für vertragsgebundene Buckets und keine gesperrten Quell-Buckets, daher erhält ein gesperrtes Archiv seine zweite Kopie vom Schreibvorgang.

Wichtige Punkte:

  • Vertragsgebundene Buckets befinden sich in eu-central-4, eu-central-3 und us-central-1; benutzergebundene Buckets in de, eu-central-2 und eu-south-2.
  • Object Lock muss bei der Bucket-Erstellung aktiviert werden; der Compliance-Modus kann von niemandem verkürzt werden.
  • Der DCD legt Aufbewahrungsfristen von bis zu 365 Tagen fest; die API legt längere Zeiträume fest.
  • Lifecycle-Regeln verfallen und löschen; es gibt keine Übergänge zwischen Speicherklassen.
  • Flow-Logs und Bucket-Zugriffsprotokollierung erfordern benutzergebundene Buckets.

Wichtige Begriffe:

  • Vertragsgebundenes Bucket: Ein Bucket, das dem Vertragsinhaber gehört, für alle Vertragsbenutzer sichtbar ist und dessen Zugriff durch einen Inhaber oder Administrator gewährt wird.
  • Compliance-Modus: Der Object-Lock-Modus, in dem niemand die Aufbewahrungsfrist verkürzen oder aufheben kann.
  • Löschmarke: Der Platzhalter, den eine Löschanfrage in einem versionierten Bucket anstelle der Entfernung der Objektversion erstellt.