11 min de lecture

Objectifs d'apprentissage

À la fin de ce module, vous serez en mesure de:

  • Concevoir des sujets en utilisant la partition comme unité d'ordonnancement et de parallélisme des consommateurs, avec un nombre de partitions adapté au nombre de brokers
  • Utiliser le facteur de réplication, la rétention et la taille du cluster comme leviers de fiabilité et de coût, et dimensionner le stockage en fonction du débit et de la rétention
  • Concevoir la capture d'événements au niveau de l'application comme substitut à la capture des modifications de données de base de données
  • Placer Object Storage comme archive et file d'attente des messages en échec d'un flux, et sécuriser les clients avec TLS mutuel
  • Créer un cluster Event Streams for Apache Kafka et un sujet bien structuré dans Data Center Designer (DCD)

Unité 5.6 : Flux d'événements (Kafka géré)

Introduction

Les modèles de détection de fraude de FinCorp, son service de notification et son entrepôt de données de reporting ont tous besoin de savoir lorsqu'un paiement est effectué. Interroger la base de données de paiement depuis trois consommateurs mettrait à rude épreuve l'instance primaire que l'Unité 5.3 s'est efforcée de protéger. L'architecture a donc besoin d'un journal d'événements métier, publié par l'application, que n'importe quel nombre de consommateurs peut lire à leur propre rythme.

Event Streams for Apache Kafka est un service Apache Kafka entièrement géré, doté d'une bascule automatique et d'une communication sécurisée par TLS, et rattaché à un LAN privé. La création du cluster est rapide ; les décisions qui durent sont celles relatives aux formes des sujets, car le nombre de partitions et la clé déterminent l'ordre et le parallélisme pour toute la durée de vie du sujet. Cette unité conçoit ces décisions et se termine par la construction du cluster d'événements de FinCorp et de son premier sujet dans le DCD.

1. Partitions : ordonnancement et parallélisme

1.1 Ce qu'une partition garantit

Kafka maintient l'ordre des messages au sein d'une partition, et non à l'échelle d'un sujet. Un producteur qui envoie des messages avec une clé place tous les messages portant la même clé dans la même partition, de sorte que l'ordre est respecté par clé. Pour FinCorp, la clé d'un événement de paiement est l'identifiant du compte : tous les événements d'un même compte arrivent dans l'ordre, tandis que les événements de comptes différents sont traités en parallèle.

Les partitions constituent également l'unité de traitement parallèle. Au sein d'un groupe de consommateurs, chaque partition est lue par un seul consommateur à la fois, et chaque groupe suit sa propre position, l'offset, par partition. Trois groupes de consommateurs, pour la fraude, la notification et la reporting, lisent donc le même sujet de manière indépendante, et le nombre de partitions limite le nombre de consommateurs au sein d'un même groupe qui effectuent un travail utile.

1.2 Nombre de partitions et nombre de brokers

Chaque taille de cluster exécute trois brokers. Le nombre de partitions doit être égal ou supérieur au nombre de brokers, et 2 fois ou 3 fois le nombre de brokers, voire plus, lorsque le débit est une priorité. Utilisez uniquement des multiples du nombre de brokers, tels que 3, 6, 9 ou 12, afin d'éviter une répartition inégale des partitions. Choisissez le nombre correspondant au parallélisme maximal des consommateurs que vous prévoyez, car l'ajout de partitions ultérieurement déplace les clés vers d'autres partitions et rompt l'ordonnancement par clé au cours de la modification.

2. Leviers de fiabilité et de coût

2.1 Facteur de réplication et durée de rétention

Le facteur de réplication définit le nombre de copies de chaque message conservées sur des brokers distincts. Un facteur de réplication de 3 est recommandé, ce qui, avec trois brokers, place une copie sur chacun d'eux. La durée de rétention détermine la période pendant laquelle les messages restent dans un sujet. Elle est par défaut de 604800000 ms (7 jours), et la valeur -1 supprime la limite de temps. La taille des segments, à laquelle les segments de journal sont recyclés, est par défaut de 1073741824 octets (1 Go) et doit être d'au moins 14 octets.

Ces deux leviers multiplient le stockage. La consommation finale de stockage peut être plusieurs fois supérieure au volume de données entrantes, en fonction du facteur de réplication.

2.2 Tailles de Cluster

Le tableau suivant liste les tailles de Cluster :

Taille Brokers Cœurs par broker RAM par broker Stockage par broker Stockage total
XS 3 1 2 Go 195 Go 585 Go
S 3 2 4 Go 250 Go 750 Go
M 3 2 8 Go 400 Go 1200 Go
L 3 4 16 Go 800 Go 2400 Go
XL 3 8 32 Go 1500 Go 4500 Go

Comme indiqué ci-dessus, chaque taille augmente la capacité par broker, et non le nombre de brokers. Dimensionnez selon le débit et la rétention. FinCorp s'attend à environ 100 Ko par seconde d'événements de paiement et 50 Ko par seconde d'événements clients, conservés pendant sept jours : 150 Ko/s x 604 800 s représente environ 91 Go de données entrantes, soit environ 272 Go avec un facteur de réplication de 3. La taille S, avec 750 Go, laisse une marge pour la croissance et pour une rétention plus longue sur le sujet de messages morts.

2.3 Sécurité et placement

La communication avec le Cluster est sécurisée par TLS, et l'authentification utilise le TLS mutuel (mTLS) : le client vérifie le certificat du serveur par rapport à l'autorité de certification du Cluster, car le Cluster ne possède pas de certificats signés publiquement, et le serveur vérifie le certificat du client. Chaque certificat est valide pendant 365 jours, et un certificat renouvelé est disponible via l'API 30 jours avant son expiration. La rotation des certificats est donc une tâche annuelle, avec une fenêtre de 30 jours pour la déployer auprès de tous les producteurs et consommateurs.

Le Cluster se connecte à un LAN dans votre VDC, et les adresses des brokers doivent appartenir au sous-réseau de ce LAN. Kafka est disponible à Berlin (de-txl) et à Francfort (de-fra, de-fra-1 et de-fra-2), entre autres emplacements.

3. Le flux dans l'architecture de données

3.1 Capture d'événements au niveau de l'application

Dans le modèle de substitution native, la capture des données modifiées est effectuée au niveau de l'application (Unité 1.3) : l'application publie chaque modification métier en tant qu'événement. Le risque est qu'une écriture atteigne la base de données alors que son événement n'atteint jamais Kafka, ou l'inverse. Le remède standard est la boîte de sortie transactionnelle (transactional outbox) : le service de paiement écrit le paiement et une ligne de la boîte de sortie dans la même transaction PostgreSQL, et un processus relais lit les nouvelles lignes de la boîte de sortie, les publie dans Kafka et les marque comme envoyées. Une panne entraîne alors au plus un doublon, jamais un événement perdu, si bien que les consommateurs doivent être idempotents, par exemple en suivant l'identifiant de l'événement. La boîte de sortie réside dans le cluster Strictly Synchronous de l'Unité 5.3, de sorte qu'une bascule de base de données ne provoque pas non plus la perte d'événements.

3.2 Archive et file des messages en échec

La rétention n'est pas une archive. Un travail de consommateur écrit les événements de chaque sujet dans IONOS Cloud Object Storage sous forme d'objets partitionnés par temps, sous une règle de cycle de vie (Unité 5.2), afin que les rapports et l'entraînement des modèles puissent rejouer l'historique au-delà de sept jours. La suppression d'un sujet supprime définitivement ses données, ce qui constitue une raison supplémentaire d'archiver d'abord.

Les messages qu'un consommateur ne peut pas traiter sont envoyés vers un sujet de messages en échec, payments.dlq, au lieu de bloquer la partition. Un petit consommateur transfère les messages en échec vers un préfixe d'Object Storage pour investigation, et la règle de cycle de vie sur ce préfixe les expire après la fenêtre d'investigation.

3.3 La colonne vertébrale d'ingestion pour l'IA

Le même sujet alimente le niveau IA de FinCorp. Les consommateurs dans fc-prod-fra-ai lisent via le Cross Connect de l'Unité 3.6, qui doit donc rejoindre le LAN fc-data, en tant que groupe de consommateurs propre à eux, afin que les caractéristiques des modèles se mettent à jour à partir du flux d'événements sans toucher à la base de données de paiement. L'Unité 6.5 construit le côté inférence.

Déroulement de la mise en œuvre de DCD

Vous allez créer le cluster d'événements fc-kafka-events de FinCorp sur fc-data ainsi que son premier sujet, payments.events, conformé aux sections 1 et 2. Cela matérialise le journal d'événements que le relais de la boîte de sortie écrit et que trois groupes de consommateurs lisent.

Prérequis : le VDC fc-prod-fra-core avec au moins une VM sur le LAN fc-data ; trois adresses libres sur fc-data (FinCorp utilise .7 à .9, ce qui remplit la plage du service managé de ce LAN ; le service managé suivant nécessite un nouveau LAN) ; l'accès à l'API IONOS CLOUD de l'équipe plateforme pour récupérer les identifiants.

Objectif de construction : Créer un cluster et un sujet bien structuré.

Étapes (dans Data Center Designer) :

  1. Accédez à Menu > Data Analytics > Event Streams for Apache Kafka et sélectionnez Create cluster.
  2. Saisissez le Cluster Name fc-kafka-events, sélectionnez la Kafka Version, choisissez la Cluster Size S et sélectionnez l'emplacement de Francfort.
  3. Sélectionnez fc-prod-fra-core en tant que Datacenter et fc-data en tant que Datacenter LAN.
  4. Saisissez les trois adresses des brokers .7, .8 et .9 du sous-réseau fc-data. Elles doivent appartenir au sous-réseau de ce LAN.
  5. Sélectionnez Save et attendez que le cluster soit dans l'état Available.
  6. Sélectionnez le cluster, ouvrez l'onglet Topics et sélectionnez Create topic.
  7. Saisissez le Name payments.events, un Replication Factor de 3 et un Number of Partitions de 6, soit le double du nombre de brokers.
  8. Conservez Retention Time (ms) à 604800000 pour sept jours, et conservez la taille par défaut de Retention Segment Size (B).
  9. Sélectionnez Create. Répétez l'opération pour customer.events et pour payments.dlq, en attribuant au sujet de lettres mortes un temps de rétention plus long.
  10. Récupérez les identifiants du client, l'autorité de certification, le certificat et la clé privée, via le point d'accès API GET /clusters/{clusterId}/users/{userId}/access, et stockez-les dans le coffre de secrets utilisé par le relais de la boîte de sortie et les consommateurs.

Erreurs courantes :

  • Choisir un nombre de partitions qui n'est pas un multiple de trois. Les partitions se répartissent alors de manière inégale sur les brokers.
  • Attribuer des clés aléatoires aux événements de paiement. L'ordre n'est garanti que par clé au sein d'une partition ; utilisez l'identifiant du compte comme clé.
  • Prévoir d'ajouter des partitions plus tard « quand cela sera nécessaire ». Cela déplace les clés et rompt l'ordre par clé.
  • Considérer les sept jours de rétention comme une archive. Archivez vers Object Storage avant que les données ne dépassent leur durée de vie ou qu'un sujet ne soit supprimé.
  • Laisser les certificats client expirer. Ils sont valides pendant 365 jours ; planifiez le renouvellement dans la fenêtre de 30 jours.

Résumé

Le nombre de partitions et la clé d'un sujet Kafka constituent sa conception durable : l'ordre est maintenu par clé au sein d'une partition, le parallélisme est limité par le nombre de partitions, et ce nombre doit être un multiple des trois brokers. Le facteur de réplication et la rétention multiplient le stockage, il faut donc dimensionner le cluster à partir du débit multiplié par la rétention multiplié par la réplication. Le flux remplace la capture des données modifiées grâce à la boîte de sortie transactionnelle, transmet son historique à Object Storage et alimente la couche IA en tant que groupe de consommateurs supplémentaire.

Points clés :

  • Chaque taille de cluster comporte trois brokers ; les tailles diffèrent par le nombre de cœurs, la RAM et le stockage par broker.
  • Utilisez des nombres de partitions en multiples du nombre de brokers, au moins égaux à ce nombre.
  • Un facteur de réplication de 3 est recommandé ; la rétention par défaut est de sept jours.
  • Les clients s'authentifient avec mTLS ; les certificats ont une durée de validité de 365 jours, avec un renouvellement possible 30 jours à l'avance.
  • Le motif de la boîte de sortie rend la capture d'événements au niveau de l'application sûre en cas de plantage.

Terminologie importante :

  • Partition : un journal ordonné au sein d'un sujet, unité de l'ordre et du parallélisme des consommateurs.
  • Groupe de consommateurs : un ensemble de consommateurs qui partagent les partitions d'un sujet et suivent leurs décalages ensemble.
  • Boîte de sortie transactionnelle (transactional outbox) : une table écrite dans la même transaction de base de données que la modification métier, à partir de laquelle un relais publie les événements.
  • Sujet de messages en erreur : un sujet qui reçoit les messages qu'un consommateur n'a pas pu traiter.