16 min de lecture

Objectifs d'apprentissage

À la fin de ce module, vous serez en mesure de:

  • Associer les cinq plans de télémétrie (métriques, journaux, audit, flux réseau et traces) aux services qui les transportent, avec leurs portées fixes, durées de conservation et limites
  • Concevoir en tenant compte des lacunes entre les plans : audit par contrat, fenêtre d'audit de 35 jours, journaux d'audit du cluster dans un bucket, et journaux qui ne sont reçus que lorsque vous les transmettez
  • Utiliser Central Logging et Central Monitoring pour la transmission initiée par le produit, et expliquer les deux commutateurs qui doivent tous deux être activés
  • Placer l'observabilité de Private Cloud et de vCenter à côté des plans de la plateforme dans un environnement hybride
  • Concevoir l'agrégation vers un SIEM externe, puis construire un pipeline de métriques avec une alerte et un journal de flux dans Data Center Designer (DCD)

Unité 7.2 : Observabilité et opérations

Introduction

Chaque module précédent générait des télémétries à un endroit différent : des entrées de journal d'activité par contrat (Unité 2.3), des journaux de flux dans un bucket (Unité 3.2), des sauvegardes et des métriques de base de données (Unité 5.3), des journaux d'audit Kubernetes dans un autre bucket (Unité 6.1). Une équipe d'exploitation ne peut pas travailler à partir de six endroits. Elle a besoin de savoir ce que chaque plan peut voir, pendant combien de temps il le conserve, et où les plans se rejoignent.

Cette unité cartographie les plans, identifie les lacunes qu'une conception doit combler, et construit la première couche opérationnelle de FinCorp : la transmission initiée par le produit pour les bases de données, un pipeline de métriques pour les VM avec une alerte, et un journal de flux sur le chemin du trafic sortant.

1. Les cinq plans de télémétrie

1.1 Ce que chaque plan transporte

La plateforme sépare la télémétrie par type, et chaque plan a son propre périmètre et sa propre rétention :

Plan Service Mode d'arrivée des données Périmètre Rétention
Métriques Monitoring Service Poussées par vos agents (Prometheus, Grafana Agent, OpenTelemetry, FluentBit), ou transmises par des produits intégrés Pipelines régionaux, jusqu'à 10 par contrat Stockage facturé par Go et par 30 jours, augmentant avec vos paramètres de rétention
Journaux Logging Service Fluent Bit ou HTTP depuis vos sources (Kubernetes, Docker, Systemd, Générique, OTLP), ou transmis par des produits intégrés Pipelines régionaux, jusqu'à 10 par contrat, 5 flux de journaux chacun 7, 14 ou 30 jours par flux de journaux (30 par défaut), ou illimité
Audit Activity Logs ; journal d'audit Kubernetes Activity Logs : vous les récupérez via une API en lecture seule, GET uniquement. Journaux d'audit des clusters : écrits dans un bucket que vous nommez Activity Logs : un contrat, activité IaaS Activity Logs : 35 jours
Flux réseau Flow Logs Écrits dans un bucket Object Storage appartenant à l'utilisateur à intervalles de 10 minutes Un flux de journaux par carte réseau de VM, NLB, ALB ou passerelle NAT Jusqu'à ce que la politique de cycle de vie de votre bucket le supprime
Traces Tracing Service OTLP/HTTP ou OTLP/gRPC sur le port 443 Pipelines régionaux, jusqu'à 10 par contrat 30 jours, puis suppression automatique

Trois plans partagent une même vue. Les métriques, les journaux et les traces sont visualisés dans une instance Grafana managée par contrat et par région, adossée à Grafana Mimir pour les métriques, Loki pour les journaux et Tempo pour les traces. Depuis une trace lente, vous pouvez accéder aux journaux et aux métriques de la même requête. Les données d'audit et de flux réseau n'arrivent pas par défaut dans Grafana : elles sont déposées dans une API et dans des buckets.

1.2 Les traces, le cinquième plan

Le Tracing Service est natif OpenTelemetry : il accepte OTLP sans agents propriétaires, ce qui garantit la portabilité de l'instrumentation. Ses limites sont des paramètres de conception et non des notes de bas de page :

  • Taille maximale d'une trace : 5 Mo. Si les spans d'un même identifiant de trace dépassent cette taille, la trace est rejetée à l'ingestion et n'apparaît jamais dans Grafana. Les tâches par lots longues avec des milliers de spans doivent être découpées en traces distinctes.
  • Taux d'ingestion : 15 Mo/s en continu, avec une pointe de 20 Mo. Au-delà, la plateforme répond par HTTP 429 pour OTLP/HTTP ou RESOURCE_EXHAUSTED pour OTLP/gRPC ; les exportateurs réessaye avec un recul exponentiel, et l'excès soutenu est supprimé.
  • Traces en direct : 10 000 traces en cours simultanées. Au-delà, les nouvelles traces sont refusées jusqu'à ce que les traces ouvertes soient vidées.
  • Spans tardifs arrivant après que leur trace a été vidée sont stockés comme une trace partielle distincte ; gardez donc l'écart d'horloge faible et exportez rapidement.

FinCorp utilise les traces pour le chemin de requête du portail et pour son assistant IA, car le service prend en charge les conventions sémantiques OpenTelemetry pour l'IA générative, y compris la latence du modèle et la consommation de jetons. Trente jours couvrent l'analyse des incidents ; tout ce qu'un régulateur demande ultérieurement relève du plan d'audit, non des traces.

1.3 Les limites de journalisation

L'ingestion de journaux comporte des limites par défaut fixes par pipeline :

Aspect Description Limite
Limite de débit HTTP Limite de débit par défaut pour les requêtes HTTP par pipeline pendant l'ingestion de journaux. 50 requêtes/seconde
Bande passante TCP Limite de bande passante TCP par défaut par pipeline, approximativement en termes de journaux par seconde. ~10 000 journaux/seconde
Nombre maximal de pipelines Nombre maximal de pipelines autorisés par contrat. 10 pipelines
Flux de journaux par pipeline Nombre maximal de flux de journaux autorisés par pipeline. 5 flux de journaux/pipeline

Comme indiqué ci-dessus, le chemin HTTP convient aux émetteurs à faible volume ; les sources à fort volume, telles qu'un cluster Kubernetes actif, sont acheminées via Fluent Bit sur TCP. Avec cinq flux par pipeline et dix pipelines par contrat, planifiez les flux par type de source et par classe de rétention, et non un par serveur. Le masquage des données est votre responsabilité : assainissez les données personnelles dans l'agent avant qu'elles ne quittent la source.

2. Transfert initié par le produit : journalisation et surveillance centralisées

Certains produits managés transfèrent leurs propres journaux et métriques, de sorte que vous n'avez pas à exécuter d'agent pour eux. L'interrupteur correspondant est la journalisation centralisée et la surveillance centralisée : un indicateur au niveau du contrat par région qui permet aux produits intégrés d'ingérer les données en votre nom. Il est activé dans le DCD à l'aide d'un interrupteur par région, ou via l'API régionale avec un PUT vers /central. Pour savoir quels produits sont intégrés, contactez votre gestionnaire de compte ou le support IONOS CLOUD.

Deux niveaux doivent tous les deux être activés avant que des données ne soient affichées :

  1. Contrat et région : la journalisation centralisée et la surveillance centralisée doivent être activées pour la région où le produit est exécuté.
  2. Produit : l'interrupteur propre au produit, tel que Activer les journaux et Activer les métriques dans les paramètres Observability d'un cluster DBaaS (Unité 5.3).

L'ordre ne vous bloque pas : un cluster accepte les interrupteurs même si la région est encore inactive, mais aucune donnée ne circule tant que l'interrupteur régional n'est pas activé. C'est aussi le piège : un cluster peut afficher les deux interrupteurs activés et ne rien envoyer. Une fois les deux niveaux activés, Grafana affiche six tableaux de bord prédéfinis sous Dashboards > IONOS CLOUD, à savoir un tableau de bord pour les métriques et un tableau de bord pour les journaux, chacun pour DBaaS for PostgreSQL, DBaaS for MariaDB et DBaaS for In-Memory DB, y compris la réplication et l'archivage WAL pour PostgreSQL. L'activation est régionale et facturée, il convient donc de l'activer uniquement dans les régions où FinCorp exécute des produits : Francfort et Berlin.

3. L'accès à Grafana est régi par IAM

L'accès à Grafana est lié aux pipelines et à l'authentification unique (SSO) d'IAM. La connexion fonctionne dès qu'un pipeline ou une instance Central Logging ou Monitoring existe ; avant cela, elle échoue avec le message « Sign up is disabled ». Si tous sont supprimés, l'accès est conservé pendant 30 jours avant d'être retiré, les comptes de service sont désactivés et leurs jetons deviennent invalides. Conservez Central Monitoring actif en production afin que Grafana ne dépende jamais d'un seul pipeline.

La révocation de l'accès nécessite deux étapes : supprimer ou restreindre l'utilisateur dans IAM pour le contrat, puis supprimer l'utilisateur de l'organisation Grafana. La modification des privilèges dans DCD seul peut ne pas arrêter immédiatement le SSO de Grafana. Ajoutez ces deux étapes au runbook de départ de l'unité 2.2. La création de pipelines nécessite le privilège Access and manage Monitoring, Access and manage Logging Service ou Access and manage Tracing ; accordez-les au groupe de l'équipe plateforme, et non à des individus.

4. Les lacunes à prendre en compte dans la conception

Chaque plan est complet dans son périmètre. Le travail de conception se situe aux frontières :

Lacune Conséquence Modèle natif
Activity Logs conserve 35 jours, selon le contrat Les preuves antérieures sont perdues ; aucune vue transversale entre les deux contrats de FinCorp Export planifié de chaque contrat vers un bucket verrouillé (Unité 2.3)
Les enregistrements de traçage d'Activity Logs sont limités aux produits IaaS L'activité au sein des produits PaaS nécessite un autre enregistrement Utiliser les propres journaux de chaque service, via Central Logging lorsqu'il est intégré
Les journaux d'audit Kubernetes atterrissent dans un seau Les événements d'audit du Cluster sont stockés dans des objets, et non dans un flux de journaux Lire le seau d'audit depuis le SIEM, ou le transférer avec un collecteur
Les journaux d'application et des nœuds n'arrivent que lorsqu'ils sont expédiés Un Cluster sans agent n'a aucun journal dans Grafana Déployer Fluent Bit dans chaque Cluster vers un flux de journaux Kubernetes (Unité 6.1)
Les journaux de flux atterrissent dans un seau Les preuves réseau ne sont pas dans Grafana Politique de cycle de vie pour la rétention ; le SIEM lit le seau
Une vérification d'intégrité TCP ne prouve que le port répond Un service défaillant peut passer la vérification NLB (Unité 3.4) Métriques et alertes applicatives sur le service lui-même

5. Parcs hybrides : vCenter à côté des plans de la plateforme

Dans Private Cloud, la surveillance des machines virtuelles est une responsabilité du client : le support IONOS CLOUD couvre le matériel et la pile VMware, mais pas la surveillance de vos VM (Unité 4.4). Le vSphere Client et vCenter restent donc la console opérationnelle pour les hôtes, les VM et la capacité vSAN, y compris la règle de marge de 30 %.

Les deux mondes se rencontrent dans Grafana, et non dans vCenter. Monitoring Service accepte les métriques compatibles Prometheus en provenance de n'importe quelle source pouvant atteindre le point d'accès régional via HTTPS sur le port 443, et Fluent Bit peut envoyer des journaux en provenance de toute source utilisant TCP ou HTTP. FinCorp exécute donc des collecteurs sur des VM à l'intérieur de Private Cloud et pousse les métriques et journaux des invités et des applications vers les mêmes pipelines de Francfort que le parc VDC. L'activation du niveau de gestion dans Cloud Panel crée un segment NSX à partir duquel de tels outils peuvent atteindre le plan de gestion vSphere. Les alertes de capacité vSAN restent dans vCenter, et le runbook désigne la personne qui les surveille.

6. Agrégation vers un SIEM externe

Les opérations de sécurité de FinCorp exploitent un système de gestion des informations et des événements de sécurité (SIEM) en dehors de la plateforme. Chaque plan peut l'alimenter, par un chemin différent :

Source Chemin vers le SIEM
Activity Logs L'exportateur de l'unité 2.3 écrit dans l'archive verrouillée et envoie les mêmes entrées au SIEM
Journaux de flux et journaux d'audit Kubernetes Le SIEM lit les buckets appartenant à l'utilisateur via l'API compatible S3
Journaux des VM et des conteneurs L'agent Fluent Bit envoie les données au Logging Service et, par une seconde sortie, au SIEM
Métriques Un Grafana externe interroge le Grafana d'IONOS CLOUD via une source de données Prometheus avec un compte de service Grafana

Ce schéma maintient Grafana comme vue de travail pour les ingénieurs et le SIEM comme registre de sécurité, sans que l'un des deux ne dépende de l'autre. Le côté émetteur est toujours l'agent ou l'exportateur que vous exploitez, de sorte que le chemin vers le SIEM subsiste en cas de modification du pipeline.

Déroulement de la mise en œuvre de DCD

Vous allez activer la transfert initié par le produit pour les bases de données de FinCorp à Francfort, créer un pipeline de métriques pour les VM, ajouter une alerte et activer le journal de flux sortant prévu par l'Unité 3.2. Cela met en œuvre les sections 2 et 4 : les deux couches de transfert sont activées, et les preuves réseau sont présentes sur le chemin qui sort du VDC.

Prérequis : les privilèges Accéder et gérer Monitoring, Accéder et gérer Logging Service et Créer des journaux de flux, ou le rôle Administrateur ; fc-pg-portal avec Enable logs et Enable metrics activés (Unité 5.3) ; la passerelle NAT fc-nat-app (Unité 3.6) ; un bucket Object Storage appartenant à un utilisateur pour les journaux de flux, ici fc-flowlogs-fra ; le trafic sortant HTTPS depuis les VM via la passerelle NAT.

Objectif de construction : Créer un pipeline de métriques avec une alerte et activer les journaux de flux.

Étapes (dans Data Center Designer) :

  1. Accédez à Menu > Observability > Logging Service, ouvrez la liste déroulante Central Logging, basculez l'état STATE pour la région Francfort et sélectionnez Confirm. Connection Details répertorie les produits de transfert.
  2. Accédez à Menu > Observability > Monitoring Service, ouvrez la liste déroulante Central Monitoring, basculez l'état STATE pour la région Francfort et sélectionnez Confirm. Répétez les deux étapes pour Berlin, où le cluster de reprise de l'Unité 7.1 est exécuté.
  3. Sur la page d'aperçu de Monitoring Service, sélectionnez Create monitoring pipeline. Saisissez un Name tel que fc-vm-metrics-fra, sélectionnez l'emplacement Location Francfort, puis sélectionnez Create. Copiez la clé API dans le coffre-fort de secrets de FinCorp immédiatement : elle n'est affichée qu'au moment de la création.
  4. Configurez l'agent de métriques sur fc-app-01 et fc-app-02 avec le point de terminaison du pipeline, en ajoutant /api/v1/push, et la clé API dans l'en-tête APIKEY. L'intervalle de poussée par défaut est d'une minute.
  5. Accédez à Menu > Databases > PostgreSQL, ouvrez fc-pg-portal, et dans la section Observability, sélectionnez Open in Grafana. Connectez-vous avec SSO IONOS CLOUD. Les métriques initiales de la base de données peuvent prendre de 10 minutes à 1 heure pour apparaître.
  6. Dans Grafana, ouvrez Dashboards > IONOS CLOUD et vérifiez le tableau de bord des métriques PostgreSQL pour fc-pg-portal. Créez une règle d'alerte Grafana sur l'utilisation du stockage et une sur la réplication, avec des notifications vers le canal de garde des opérations. Ajoutez une alerte CPU sur les VM du portail à partir du pipeline de l'étape 3.
  7. Ouvrez fc-prod-fra-core, sélectionnez fc-nat-app et son onglet Settings. Saisissez un Name pour le journal de flux, choisissez la Direction Bidirectional et l'Action Any, saisissez fc-flowlogs-fra comme Target Object Storage bucket, puis sélectionnez Add flow log.
  8. Sélectionnez Provision changes. Après le prochain intervalle de 10 minutes, vérifiez que des objets .log.gz apparaissent dans le bucket, et définissez la politique de cycle de vie du bucket sur la période de rétention approuvée par l'équipe de sécurité.

Erreurs courantes :

  • Activer Enable logs et Enable metrics sur un cluster sans activer la région. Le cluster l'accepte et n'envoie rien.
  • Perdre la clé API d'un pipeline. Elle est affichée une seule fois et ne peut pas être récupérée ; vous devez en émettre une nouvelle.
  • Révoquer les privilèges DCD d'un partant sans révoquer son accès IAM et son adhésion à Grafana.
  • Exporter des travaux par lots très longs comme une seule trace. Au-delà de 5 Mo, la trace est rejetée.
  • S'attendre à ce que les événements d'audit du cluster ou les journaux de flux apparaissent dans Grafana. Ils sont déposés dans des buckets.
  • Modifier un journal de flux après sa création. Supprimez-le et créez-en un nouveau.

Résumé

La télémétrie sur IONOS CLOUD se compose de cinq plans aux périmètres fixes : les métriques, les journaux et les traces dans des pipelines régionaux consultés dans une instance Grafana par contrat et par région, l'audit dans une API par contrat avec une fenêtre de 35 jours et dans des buckets d'audit de cluster, et les flux réseau dans des buckets appartenant à l'utilisateur. Central Logging et Central Monitoring transfèrent les données des produits intégrés une fois que les interrupteurs régionaux et spécifiques au produit sont activés. La conception comble les lacunes grâce aux exports, aux agents et aux lecteurs de buckets, et achemine l'ensemble vers le SIEM via des agents et des exporteurs exploités par FinCorp.

Points clés :

  • Les pipelines sont régionaux, jusqu'à 10 par contrat pour chacun des éléments suivants : métriques, journaux et traces ; Grafana est par contrat et par région.
  • Les journaux sont conservés pendant 7, 14 ou 30 jours (30 jours par défaut) ou de manière illimitée ; les traces pendant 30 jours ; les Activity Logs pendant 35 jours.
  • Les traces sont limitées à 5 Mo chacune et à un débit d'ingestion soutenu de 15 Mo/s.
  • Le transfert initié par le produit nécessite Central Logging ou Monitoring pour la région ainsi que l'interrupteur propre au produit.
  • Les données d'audit et de flux sont stockées dans une API et des buckets ; le SIEM les lit à cet endroit.

Terminologie importante :

  • Central Logging / Central Monitoring : un interrupteur au niveau du contrat et par région qui permet aux produits intégrés de transférer leurs journaux ou leurs métriques vers vos services d'observabilité.
  • Plan de télémétrie : un type de signal opérationnel disposant de son propre service, de son propre périmètre et de sa propre rétention.
  • Convergence vers le SIEM (fan-in) : la collecte de tous les plans dans un système de sécurité externe unique via les agents et les exporteurs que vous exploitez.