13 Min. Lesezeit

Lernziele

Am Ende dieses Moduls werden Sie in der Lage sein:

  • Die fünf Telemetrie-Ebenen (Metriken, Protokolle, Audit, Netzwerk-Flow und Traces) den Diensten zuordnen, die sie transportieren, einschließlich ihrer fester Scopes, Retention und Limits
  • So gestalten, dass die Lücken zwischen den Ebenen berücksichtigt werden: Audit pro Vertrag, das 35-Tage-Audit-Fenster, Cluster-Audit-Protokolle in einem Bucket und Protokolle, die nur dann ankommen, wenn Sie sie versenden
  • Central Logging und Central Monitoring für produktinitiiertes Forwarding nutzen und die zwei Schalter erklären, die beide aktiviert sein müssen
  • Die Observability von Private Cloud und vCenter neben den Plattform-Ebenen in einer hybriden Umgebung positionieren
  • Das Fan-in in ein externes SIEM entwerfen und anschließend eine Metriken-Pipeline mit einem Alert und einem Flow-Log im Data Center Designer (DCD) erstellen

Einheit 7.2: Observability und Betrieb

Einführung

Jedes frühere Modul erzeugte Telemetrie an einem anderen Ort: Aktivitätsprotokolleinträge pro Vertrag (Einheit 2.3), Flussprotokolle in einem Bucket (Einheit 3.2), Datenbank-Sicherungen und Metriken (Einheit 5.3), Kubernetes-Auditprotokolle in einem anderen Bucket (Einheit 6.1). Ein Betriebsteam kann nicht an sechs verschiedenen Orten arbeiten. Es muss wissen, was jede Ebene sehen kann, wie lange sie die Daten aufbewahrt und wo die Ebenen aufeinandertreffen.

Diese Einheit bildet die Ebenen ab, benennt die Lücken, die ein Design schließen muss, und baut die erste operative Schicht von FinCorp: produktinitiiertes Weiterleiten für die Datenbanken, eine Metriken-Pipeline für die VMs mit einer Warnung und ein Flussprotokoll auf dem Ausgangspfad.

1. Die fünf Telemetrie-Ebenen

1.1 Was jede Ebene transportiert

Die Plattform unterteilt Telemetrie nach Art, und jede Ebene hat ihren eigenen Geltungsbereich und ihre eigene Aufbewahrungsdauer:

Ebene Dienst Datenübermittlung Geltungsbereich Aufbewahrung
Metriken Monitoring Service Übermittlung durch Ihre Agenten (Prometheus, Grafana Agent, OpenTelemetry, FluentBit) oder Weiterleitung durch integrierte Produkte Regionale Pipelines, bis zu 10 pro Vertrag Speicherung wird pro GB und 30 Tage abgerechnet, abhängig von Ihren Aufbewahrungseinstellungen
Protokolle Logging Service Über Fluent Bit oder HTTP von Ihren Quellen (Kubernetes, Docker, Systemd, Generic, OTLP) oder Weiterleitung durch integrierte Produkte Regionale Pipelines, bis zu 10 pro Vertrag, jeweils 5 Protokollströme 7, 14 oder 30 Tage pro Protokollstrom (Standard 30) oder unbegrenzt
Audit Activity Logs; Kubernetes-Audit-Protokollierung Activity Logs: Abruf über eine schreibgeschützte, nur auf GET basierende API. Cluster-Audit-Protokolle: Schreiben in einen von Ihnen benannten Bucket Activity Logs: ein Vertrag, IaaS-Aktivität Activity Logs: 35 Tage
Netzwerkfluss Flow Logs Schreiben in einen benutzereigenen Object Storage-Bucket in 10-Minuten-Intervallen Ein Flussprotokoll pro VM-NIC, NLB, ALB oder NAT-Gateway Bis die Lebenszyklusrichtlinie Ihres Buckets es löscht
Spuren Tracing Service OTLP/HTTP oder OTLP/gRPC auf Port 443 Regionale Pipelines, bis zu 10 pro Vertrag 30 Tage, dann automatische Löschung

Drei Ebenen teilen sich eine gemeinsame Ansicht. Metriken, Protokolle und Spuren werden in einer verwalteten Grafana-Instanz pro Vertrag und Region visualisiert, unterlegt mit Grafana Mimir für Metriken, Loki für Protokolle und Tempo für Spuren. Von einer langsamen Span aus können Sie zu den Protokollen und Metriken derselben Anfrage navigieren. Audit- und Flussdaten werden standardmäßig nicht in Grafana geliefert: sie landen in einer API und in Buckets.

1.2 Spuren, die fünfte Ebene

Der Tracing Service ist OpenTelemetry-nativ: er akzeptiert OTLP ohne proprietäre Agenten, sodass die Instrumentierung portabel bleibt. Seine Grenzen sind Entwurfsparameter und keine Fußnoten:

  • Maximale Spurengröße: 5 MB. Wenn die Spans einer Trace ID zusammen mehr ergeben, wird die Spur bei der Aufnahme abgelehnt und erscheint nie in Grafana. Lange Batch-Jobs mit Tausenden von Spans müssen in separate Spuren aufgeteilt werden.
  • Aufnahmerate: 15 MB/s dauerhaft, mit einem Burst von 20 MB. Darüber hinaus antwortet die Plattform mit HTTP 429 für OTLP/HTTP oder RESOURCE_EXHAUSTED für OTLP/gRPC; Exporter wiederholen mit Backoff, und anhaltende Überschreitung wird verworfen.
  • Live-Spuren: 10.000 gleichzeitige, noch offene Spuren. Darüber werden neue Spuren abgelehnt, bis offene Spuren abgeschlossen sind.
  • Späte Spans, die nach dem Abschluss ihrer Spur eintreffen, werden als separate, unvollständige Spur gespeichert. Halten Sie daher die Uhrzeitabweichung klein und exportieren Sie zeitnah.

FinCorp verwendet Spuren für den Portal-Anfragepfad und für seinen KI-Assistenten, da der Dienst die OpenTelemetry-Semantik-Konventionen für generative KI unterstützt, einschließlich Modell-Latenz und Token-Verbrauch. Dreißig Tage decken die Incident-Analyse ab; alles, was ein Regulierer später anfordert, gehört in die Audit-Ebene, nicht in die Spuren.

1.3 Die Protokollgrenzen

Die Protokollaufnahme hat feste Standardgrenzen pro Pipeline:

Aspekt Beschreibung Grenzwert
HTTP-Ratenbegrenzung Standardmäßige Ratenbegrenzung für HTTP-Anfragen pro Pipeline während der Protokollaufnahme. 50 Anfragen pro Sekunde
TCP-Bandbreite Standardmäßige TCP-Bandbreitenbegrenzung pro Pipeline, ungefähr ausgedrückt in Protokolle pro Sekunde. ~10.000 Protokolle pro Sekunde
Maximale Pipelines Die maximale Anzahl an Pipelines, die pro Vertrag zulässig ist. 10 Pipelines
Protokollströme pro Pipeline Die maximale Anzahl an Protokollströmen, die pro Pipeline zulässig ist. 5 Protokollströme pro Pipeline

Wie oben gezeigt, eignet sich der HTTP-Pfad für Sender mit geringem Volumen; Quellen mit hohem Volumen, wie ein ausgelasteter Kubernetes-Cluster, senden über Fluent Bit über TCP. Mit fünf Strömen pro Pipeline und zehn Pipelines pro Vertrag sollten Sie Ströme nach Quelltyp und Aufbewahrungsklasse planen, nicht einen pro Server. Datenmaskierung ist Ihre Aufgabe: bereinigen Sie personenbezogene Daten im Agenten, bevor sie die Quelle verlassen.

2. Produktinitiierte Weiterleitung: Zentrales Logging und Monitoring

Einige verwaltete Produkte leiten ihre eigenen Protokolle und Metriken selbst weiter, sodass Sie für diese keine Agenten betreiben müssen. Die Schalter dafür sind Central Logging und Central Monitoring: ein vertragsbezogener Schalter pro Region, der es integrierten Produkten ermöglicht, Daten in Ihrem Namen aufzunehmen. Die Aktivierung erfolgt im DCD über einen regionsspezifischen Schalter oder über die regionale API mit einem PUT zu /central. Um herauszufinden, welche Produkte integriert sind, wenden Sie sich an Ihren Account Manager oder den IONOS CLOUD Support.

Beide Ebenen müssen aktiviert sein, bevor Daten erscheinen:

  1. Vertrag und Region: Central Logging und Central Monitoring für die Region aktiviert, in der das Produkt ausgeführt wird.
  2. Produkt: der eigene Schalter des Produkts, beispielsweise Enable logs und Enable metrics in den Observability-Einstellungen eines DBaaS-Clusters (Einheit 5.3).

Die Reihenfolge ist nicht blockierend: Ein Cluster akzeptiert die Schalter, auch wenn die Region noch inaktiv ist, aber es fließen keine Daten, bis der regionale Schalter aktiviert ist. Das ist auch die Tücke: Ein Cluster kann beide Schalter als aktiv anzeigen und dennoch nichts senden. Sobald beide Ebenen aktiviert sind, zeigt Grafana sechs vordefinierte Dashboards unter Dashboards > IONOS CLOUD an: je ein Metriken- und ein Protokoll-Dashboard für DBaaS for PostgreSQL, DBaaS for MariaDB und DBaaS for In-Memory DB, einschließlich Replikation und WAL-Archivierung für PostgreSQL. Die Aktivierung ist regional und abrechenbar. Aktivieren Sie sie daher nur in den Regionen, in denen FinCorp Produkte betreibt: Frankfurt und Berlin.

3. Der Grafana-Zugriff wird durch IAM gesteuert

Der Zugriff auf Grafana ist an die Pipelines und an das IAM Single Sign-On (SSO) gebunden. Die Anmeldung funktioniert, sobald eine Pipeline oder eine Instanz für Central Logging oder Monitoring vorhanden ist; davor schlägt sie mit der Meldung „Sign up is disabled“ fehl. Wenn alle diese Ressourcen gelöscht werden, bleibt der Zugriff 30 Tage lang bestehen und wird anschließend entfernt. Servicekonten werden deaktiviert und ihre Tokens werden ungültig. Halten Sie Central Monitoring in der Produktion aktiv, damit Grafana niemals von einer einzelnen Pipeline abhängt.

Die Entziehung des Zugriffs erfordert zwei Schritte: Entfernen oder beschränken Sie den Benutzer in IAM für den Vertrag, und entfernen Sie anschließend den Benutzer aus der Grafana-Organisation. Änderungen der Berechtigungen allein im DCD stoppen das Grafana SSO möglicherweise nicht sofort. Fügen Sie beide Schritte in das Leaver-Runbook der Einheit 2.2 ein. Das Erstellen von Pipelines erfordert das Privileg Access and manage Monitoring, Access and manage Logging Service oder Access and manage Tracing; erteilen Sie diese Berechtigungen der Gruppe des Plattformteams, nicht einzelnen Personen.

4. Die Lücken, um die herum gestaltet wird

Jede Ebene ist innerhalb ihres Geltungsbereichs vollständig. Die Gestaltungsaufgaben liegen an den Rändern:

Lücke Auswirkung Natives Muster
Activity Logs werden vertraglich für 35 Tage aufbewahrt Ältere Beweismittel sind weg; keine Ansicht über die beiden Verträge von FinCorp hinweg Geplanter Export jedes Vertrags in einen gesperrten Bucket (Einheit 2.3)
Die Trace-Aufzeichnungen von Activity Logs sind auf IaaS-Produkte beschränkt Aktivitäten innerhalb von PaaS-Produkten benötigen ein anderes Protokoll Die eigenen Protokolle jedes Dienstes verwenden, über Central Logging, wo dieser integriert ist
Kubernetes-Auditprotokolle landen in einem Bucket Cluster-Auditereignisse befinden sich in Objekten, nicht in einem Protokollstrom Den Audit-Bucket aus dem SIEM lesen oder ihn mit einem Collector weiterleiten
Anwendungs- und Knotenprotokolle treffen nur ein, wenn sie gesendet werden Ein Cluster ohne Agent hat keine Protokolle in Grafana Fluent Bit in jedem Cluster zu einem Kubernetes-Protokollstrom bereitstellen (Einheit 6.1)
Flow-Protokolle landen in einem Bucket Netzwerkbeweise befinden sich nicht in Grafana Lebenszyklusrichlinie für Aufbewahrung; SIEM liest den Bucket
Ein TCP-Health-Check beweist nur, dass ein Port antwortet Ein defekter Dienst kann den NLB-Check bestehen (Einheit 3.4) Anwendungsmetriken und -Warnungen auf dem Dienst selbst

5. Hybride Umgebungen: vCenter neben den Plattformebenen

In der Private Cloud ist das Monitoring virtueller Maschinen eine Verantwortung des Kunden: Der Support von IONOS CLOUD umfasst die Hardware und den VMware-Stack, jedoch nicht das Monitoring Ihrer VMs (Einheit 4.4). Der vSphere Client und vCenter bleiben daher die operative Konsole für Hosts, VMs und vSAN-Kapazität, einschließlich der 30%-Pufferregel.

Die beiden Welten treffen sich in Grafana, nicht in vCenter. Der Monitoring Service akzeptiert Prometheus-kompatible Metriken von überall dort, wo der regionale Endpunkt über HTTPS auf Port 443 erreichbar ist, und Fluent Bit kann Logs von jeder Quelle senden, die TCP oder HTTP spricht. FinCorp betreibt daher Collector auf VMs innerhalb der Private Cloud und überträgt Gast- und Anwendungsmetriken sowie Logs in dieselben Frankfurt-Pipelines wie das VDC-Umfeld. Die Aktivierung der Verwaltungsebene im Cloud Panel erstellt ein NSX-Segment, über das solche Tools die vSphere-Verwaltungsebene erreichen können. vSAN-Kapazitätswarnungen verbleiben in vCenter, und das Runbook benennt die Person, die sie überwacht.

6. Fan-In in ein externes SIEM

Die Sicherheitsoperationen von FinCorp betreiben ein Security Information and Event Management (SIEM)-System außerhalb der Plattform. Jede Ebene kann Daten an dieses System übermitteln, und zwar über einen unterschiedlichen Pfad:

Quelle Pfad zum SIEM
Activity Logs Der Exporter aus Einheit 2.3 schreibt in das gesperrte Archiv und sendet dieselben Einträge an das SIEM
Flow-Logs und Kubernetes-Audit-Logs Das SIEM liest die benutzereigenen Buckets über die S3-kompatible API
VM- und Container-Logs Der Fluent Bit-Agent sendet Daten an den Logging Service und über eine zweite Ausgabe an das SIEM
Metriken Ein externes Grafana fragt das IONOS CLOUD Grafana über eine Prometheus-Datenquelle mit einem Grafana-Service-Account ab

Dieses Muster hält Grafana als Arbeitsansicht für die Ingenieure und das SIEM als Sicherheitsprotokoll, ohne dass eine der beiden Seiten von der anderen abhängt. Die sendende Seite ist immer der Agent oder Exporter, den Sie betreiben, sodass der SIEM-Pfad auch bei einer Änderung der Pipeline bestehen bleibt.

Implementierungsanleitung für DCD

Sie aktivieren die produktinitiierte Weiterleitung für die Datenbanken von FinCorp in Frankfurt, erstellen eine Metrik-Pipeline für die VMs, fügen einen Alarm hinzu und aktivieren das Egress-Flow-Log, das in Einheit 3.2 geplant wurde. Damit werden Abschnitt 2 und Abschnitt 4 umgesetzt: Beide Weiterleitungsebenen sind aktiviert, und es liegt ein Netzwerk-Nachweis auf dem Pfad vor, der das VDC verlässt.

Voraussetzungen: die Berechtigungen Access and manage Monitoring, Access and manage Logging Service und Create Flow logs oder die Rolle Administrator; fc-pg-portal mit aktivierten Optionen Enable logs und Enable metrics (Einheit 5.3); das NAT-Gateway fc-nat-app (Einheit 3.6); ein vom Nutzer verwalteter Object Storage-Bucket für Flow-Logs, hier fc-flowlogs-fra; ausgehender HTTPS-Verkehr von den VMs über das NAT-Gateway.

Ziel der Umsetzung: Erstellen einer Metrik-Pipeline mit Alarm und Aktivierung der Flow-Logs.

Schritte (im Data Center Designer):

  1. Gehen Sie zu Menu > Observability > Logging Service, öffnen Sie die Dropdown-Liste Central Logging, schalten Sie den STATE für die Region Frankfurt um und wählen Sie Confirm. Unter Connection Details werden die weiterleitenden Produkte aufgelistet.
  2. Gehen Sie zu Menu > Observability > Monitoring Service, öffnen Sie die Dropdown-Liste Central Monitoring, schalten Sie den STATE für die Region Frankfurt um und wählen Sie Confirm. Wiederholen Sie beide Schritte für Berlin, wo das Wiederherstellungscluster aus Einheit 7.1 läuft.
  3. Wählen Sie auf der Übersichtsseite des Monitoring Service die Option Create monitoring pipeline. Geben Sie einen Name wie fc-vm-metrics-fra ein, wählen Sie den Location Frankfurt und wählen Sie Create. Kopieren Sie den API-Schlüssel sofort in den Secret Store von FinCorp: Er wird nur bei der Erstellung angezeigt.
  4. Konfigurieren Sie den Metrik-Agenten auf fc-app-01 und fc-app-02 mit dem Endpunkt der Pipeline, fügen Sie /api/v1/push hinzu und geben Sie den API-Schlüssel im Header APIKEY an. Das Standard-Intervall für das Senden beträgt eine Minute.
  5. Gehen Sie zu Menu > Databases > PostgreSQL, öffnen Sie fc-pg-portal und wählen Sie im Bereich Observability die Option Open in Grafana. Melden Sie sich mit IONOS CLOUD SSO an. Die ersten Datenbank-Metriken können 10 Minuten bis 1 Stunde benötigen, bis sie angezeigt werden.
  6. Öffnen Sie in Grafana Dashboards > IONOS CLOUD und prüfen Sie das PostgreSQL-Metriken-Dashboard für fc-pg-portal. Erstellen Sie eine Grafana-Alarmregel für die Speicherbelegung und eine für die Replikation, mit Benachrichtigungen an den On-Call-Kanal des Betriebsteams. Fügen Sie einen CPU-Alarm für die Portal-VMs aus der Pipeline aus Schritt 3 hinzu.
  7. Öffnen Sie fc-prod-fra-core, wählen Sie fc-nat-app und dessen Tab Settings. Geben Sie einen Name für das Flow-Log ein, wählen Sie Direction Bidirectional und Action Any, geben Sie fc-flowlogs-fra als Target Object Storage bucket ein und wählen Sie Add flow log.
  8. Wählen Sie Provision changes. Bestätigen Sie nach dem nächsten 10-Minuten-Intervall, dass Objekte mit dem Namen .log.gz im Bucket erscheinen, und setzen Sie die Lebenszyklusrichlinie des Buckets auf die vom Sicherheitsteam freigegebene Aufbewahrungsdauer.

Häufige Fehler:

  • Aktivierung von Enable logs und Enable metrics auf einem Cluster, ohne die Region zu aktivieren. Der Cluster akzeptiert die Einstellung, sendet aber nichts.
  • Verlust des API-Schlüssels einer Pipeline. Er wird nur einmal angezeigt und kann nicht wiederhergestellt werden; Sie müssen einen neuen ausstellen.
  • Widerruf der DCD-Berechtigungen eines Mitarbeiters, der das Unternehmen verlässt, ohne dessen IAM-Zugriff und Grafana-Mitgliedschaft zu entfernen.
  • Export sehr langer Batch-Jobs als ein einzelner Trace. Über 5 MB wird der Trace abgelehnt.
  • Erwartung von Cluster-Audit-Events oder Flow-Logs in Grafana. Diese landen in Buckets.
  • Bearbeitung eines Flow-Logs nach der Erstellung. Löschen Sie es und erstellen Sie ein neues.

Zusammenfassung

Die Telemetrie in IONOS CLOUD umfasst fünf Ebenen mit festgelegten Bereichen: Metriken, Logs und Traces in regionalen Pipelines, die in einer Grafana-Instanz pro Vertrag und Region angezeigt werden; Audit-Protokolle in einer API pro Vertrag mit einem Zeitfenster von 35 Tagen sowie in Cluster-Audit-Buckets; und Netzwerk-Flows in benutzergeführten Buckets. Central Logging und Central Monitoring leiten die Daten integrierter Produkte weiter, sobald sowohl der regionale als auch der produktspezifische Schalter aktiviert ist. Das Design schließt Lücken durch Exporte, Agenten und Bucket-Reader und leitet alles über von FinCorp betriebene Agenten und Exporter in das SIEM ein.

Wichtige Punkte:

  • Pipelines sind regional, bis zu 10 pro Vertrag für jeweils Metriken, Logs und Traces; Grafana ist pro Vertrag und Region.
  • Logs werden 7, 14 oder 30 Tage (Standard 30) oder unbegrenzt aufbewahrt; Traces 30 Tage; Activity Logs 35 Tage.
  • Traces sind auf jeweils 5 MB und eine anhaltende Aufnahme von 15 MB/s begrenzt.
  • Produktinitiierte Weiterleitung erfordert Central Logging oder Monitoring für die Region sowie den eigenen Schalter des Produkts.
  • Audit- und Flow-Daten werden in einer API und in Buckets abgelegt; das SIEM liest sie dort.

Wichtige Begriffe:

  • Central Logging / Central Monitoring: ein regionsspezifischer, vertraglicher Schalter, der es integrierten Produkten ermöglicht, ihre Logs oder Metriken an Ihre Observability-Dienste weiterzuleiten.
  • Telemetrie-Ebene: eine Art von Betriebssignal mit eigenem Dienst, Bereich und Aufbewahrungszeit.
  • SIEM-Fan-in: die Erfassung aller Ebenen in einem externen Sicherheitssystem über die von Ihnen betriebenen Agenten und Exporter.