9 Min. Lesezeit

Lernziele

Am Ende dieses Moduls werden Sie in der Lage sein:

  • Topics so gestalten, dass die Partition als Einheit für Reihenfolge und Parallelität der Consumer fungiert, wobei die Partitionszahl zur Anzahl der Broker passt
  • Replikationsfaktor, Aufbewahrungsdauer und Clustergöße als Hebel für Zuverlässigkeit und Kosten nutzen und den Speicherbedarf anhand von Durchsatz und Aufbewahrungsdauer dimensionieren
  • Event-Erfassung auf Anwendungsebene als Ersatz für die Change-Data-Capture-Funktion von Datenbanken konzipieren
  • Object Storage als Archiv und als Ziel für Dead-Letter-Nachrichten am Ende eines Streams platzieren und Clients mit gegenseitigem TLS absichern
  • Ein Event Streams for Apache Kafka-Cluster und ein gut strukturiertes Topic im Data Center Designer (DCD) erstellen

Einheit 5.6: Event Streaming (Managed Kafka)

Einführung

Die Betrugserkennungsmodelle von FinCorp, der Benachrichtigungsdienst und das Reporting-Data-Warehouse müssen alle wissen, wann eine Zahlung stattfindet. Das Abfragen der Zahlungsdatenbank durch drei Verbraucher würde die Primärinstanz belasten, die in Einheit 5.3 geschützt wurde. Die Architektur benötigt daher ein Protokoll von Geschäftsvorfällen, das von der Anwendung veröffentlicht wird und von einer beliebigen Anzahl von Verbrauchern in ihrem eigenen Tempo gelesen werden kann.

Event Streams for Apache Kafka ist ein vollständig verwalteter Apache Kafka-Dienst mit automatischem Failover und TLS-gesicherter Kommunikation, der an ein privates LAN angeschlossen ist. Die Erstellung des Clusters ist schnell erledigt; die Entscheidungen, die von Dauer sind, betreffen die Themenstrukturen, da die Partitionszahl und der Schlüssel die Reihenfolge und Parallelität für die gesamte Lebensdauer des Themas bestimmen. In dieser Einheit werden diese Entscheidungen entworfen und zum Abschluss wird das Event-Cluster von FinCorp sowie dessen erstes Thema im DCD erstellt.

1. Partitionen: Reihenfolge und Parallelität

1.1 Was eine Partition garantiert

Kafka gewährleistet die Reihenfolge von Nachrichten innerhalb einer Partition, nicht über ein gesamtes Thema hinweg. Ein Producer, der Nachrichten mit einem Schlüssel sendet, legt alle Nachrichten mit demselben Schlüssel in dieselbe Partition, sodass die Reihenfolge pro Schlüssel erhalten bleibt. Für FinCorp ist der Schlüssel eines Zahlungsevents die Kontonummer: Jedes Ereignis eines Kontos trifft in der richtigen Reihenfolge ein, während Ereignisse verschiedener Konten parallel verarbeitet werden.

Partitionen sind auch die Einheit der parallelen Verarbeitung. Innerhalb einer Consumer Group wird jede Partition jeweils nur von einem Consumer gelesen, und jede Gruppe verfolgt ihre eigene Position, den Offset, pro Partition. Drei Consumer Groups, für Betrugserkennung, Benachrichtigung und Reporting, lesen daher dasselbe Thema unabhängig voneinander, und die Anzahl der Partitionen begrenzt, wie viele Consumer in einer Gruppe nützliche Arbeit verrichten.

1.2 Partitionenanzahl und Broker-Anzahl

Jede Clustergröße verwendet drei Broker. Die Partitionenanzahl sollte gleich der Anzahl der Broker oder größer sein, und bei Priorität auf Durchsatz 2x oder 3x die Broker-Anzahl oder mehr betragen. Verwenden Sie nur Vielfache der Broker-Anzahl, wie 3, 6, 9 oder 12, um eine ungleichmäßige Verteilung der Partitionen zu vermeiden. Wählen Sie die Anzahl für die erwartete maximale Consumer-Parallelität, da das spätere Hinzufügen von Partitionen Schlüssel zu anderen Partitionen verschiebt und die Reihenfolge pro Schlüssel über die Änderung hinweg bricht.

2. Zuverlässigkeit und Kostentreiber

2.1 Replikationsfaktor und Aufbewahrungsdauer

Der Replikationsfaktor bestimmt, wie viele Kopien jeder Nachricht auf verschiedenen Brokern gespeichert werden. Ein Replikationsfaktor von 3 wird empfohlen; bei drei Brokern wird so eine Kopie auf jeden Broker verteilt. Die Aufbewahrungsdauer bestimmt, wie lange Nachrichten in einem Topic verbleiben. Der Standardwert beträgt 604800000 ms (7 Tage), und -1 entfernt das Zeitlimit. Die Segmentgröße, bei der Log-Segmente neu aufgerollt werden, beträgt standardmäßig 1073741824 Bytes (1 GB) und muss mindestens 14 Bytes betragen.

Beide Hebel multiplizieren den Speicherbedarf. Der endgültige Speicherverbrauch kann das eintreffende Datenvolumen um ein Vielfaches übersteigen, abhängig vom Replikationsfaktor.

2.2 Cluster-Größen

Die folgende Tabelle listet die Cluster-Größen auf:

Größe Broker Kerne pro Broker RAM pro Broker Speicher pro Broker Gesamtspeicher
XS 3 1 2 GB 195 GB 585 GB
S 3 2 4 GB 250 GB 750 GB
M 3 2 8 GB 400 GB 1200 GB
L 3 4 16 GB 800 GB 2400 GB
XL 3 8 32 GB 1500 GB 4500 GB

Wie oben gezeigt, erhöht jede Größe die Kapazität pro Broker, nicht die Anzahl der Broker. Die Größe wird anhand der Durchsatzrate und der Aufbewahrungsdauer festgelegt. FinCorp erwartet etwa 100 KB pro Sekunde an Zahlungsevents und 50 KB pro Sekunde an Kundenevents, die sieben Tage aufbewahrt werden: 150 KB/s x 604.800 s entsprechen etwa 91 GB an eingehenden Daten, bzw. etwa 272 GB bei einem Replikationsfaktor von 3. Die Größe S mit 750 GB lässt Spielraum für Wachstum und für eine längere Aufbewahrung im Dead-Letter-Topic.

2.3 Sicherheit und Platzierung

Die Kommunikation mit dem Cluster ist TLS-gesichert, und die Authentifizierung verwendet gegenseitiges TLS (mTLS): Der Client validiert das Zertifikat des Servers anhand der Zertifizierungsstelle des Clusters, da das Cluster keine öffentlich signierten Zertifikate besitzt, und der Server validiert das Zertifikat des Clients. Jedes Zertifikat ist 365 Tage gültig, und ein erneuertes Zertifikat ist über die API 30 Tage vor Ablauf verfügbar. Die Zertifikatsrotation ist daher ein jährlicher Runbook-Punkt, mit einem 30-Tage-Fenster für die Ausrollung auf jeden Producer und Consumer.

Das Cluster verbindet sich mit einem LAN in Ihrem VDC, und die Broker-Adressen müssen zum Subnetz dieses LAN gehören. Kafka ist unter anderem in Berlin (de-txl) und Frankfurt (de-fra, de-fra-1 und de-fra-2) verfügbar.

3. Der Stream in der Datenarchitektur

3.1 Ereigniserfassung auf Anwendungsebene

Im Modell der nativen Substitution wird die Change-Data-Capture auf Anwendungsebene aufgebaut (Einheit 1.3): Die Anwendung veröffentlicht jede geschäftliche Änderung als Ereignis. Das Risiko besteht in einem Schreibvorgang, der die Datenbank erreicht, während das zugehörige Ereignis Kafka nie erreicht, oder umgekehrt. Die Standardlösung ist der transaktionale Outbox: Der Zahlungsdienst schreibt die Zahlung und eine Outbox-Zeile in derselben PostgreSQL-Transaktion, und ein Relay-Prozess liest neue Outbox-Zeilen, veröffentlicht sie in Kafka und markiert sie als gesendet. Ein Absturz führt dann höchstens zu einer Duplikation, niemals zu einem verlorenen Ereignis. Daher müssen die Konsumenten idempotent sein, beispielsweise durch die Verfolgung der Ereignis-ID. Die Outbox befindet sich im Strictly Synchronous-Cluster aus Einheit 5.3, sodass auch ein Datenbank-Failover keine Ereignisse verliert.

3.2 Archiv und Dead-Letter-Ende

Aufbewahrung ist kein Archiv. Ein Konsumentenjob schreibt die Ereignisse jedes Themas in zeitlich partitionierte Objekte in IONOS Cloud Object Storage, unter einer Lebenszyklusregel (Einheit 5.2), damit Berichterstattung und Modelltraining Historie über sieben Tage hinaus abspielen können. Das Löschen eines Themas entfernt seine Daten dauerhaft, was ein weiterer Grund ist, zuerst zu archivieren.

Nachrichten, die ein Konsument nicht verarbeiten kann, gehen in ein Dead-Letter-Topic, payments.dlq, anstatt die Partition zu blockieren. Ein kleiner Konsument verschiebt Dead Letters in ein Object Storage-Präfix zur Untersuchung, und die Lebenszyklusregel für dieses Präfix lässt sie nach Ablauf des Untersuchungszeitraums verfallen.

3.3 Das Ingestions-Rückgrat für KI

Dasselbe Topic versorgt die KI-Ebene von FinCorp. Konsumenten in fc-prod-fra-ai lesen über den Cross Connect aus Einheit 3.6, der daher dem fc-data LAN beitreten muss, als ihre eigene Konsumentengruppe, damit sich Modellmerkmale aus dem Ereignisstream aktualisieren, ohne die Zahlungsdatenbank anzufassen. Einheit 6.5 baut die Inferenzseite.

Durchführungsanleitung für die DCD-Implementierung

Sie erstellen den Event-Cluster fc-kafka-events von FinCorp auf fc-data sowie dessen erstes Thema, payments.events, gemäß den Abschnitten 1 und 2. Damit wird das Event-Log realisiert, das der Outbox-Relay schreibt und das von drei Consumer-Gruppen gelesen wird.

Voraussetzungen: das VDC fc-prod-fra-core mit mindestens einer VM im fc-data LAN; drei freie Adressen auf fc-data (FinCorp nutzt .7 bis .9, was den Bereich für verwaltete Dienste dieses LANs ausfüllt; der nächste verwaltete Dienst benötigt ein neues LAN); der IONOS CLOUD API-Zugang des Plattformteams zum Abrufen von Zugangsdaten.

Ziel der Erstellung: Erstellen eines Clusters und eines gut gestalteten Themas.

Schritte (im Data Center Designer):

  1. Gehen Sie zu Menü > Data Analytics > Event Streams for Apache Kafka und wählen Sie Cluster erstellen.
  2. Geben Sie den Cluster-Namen fc-kafka-events ein, wählen Sie die Kafka-Version, wählen Sie die Cluster-Größe S und wählen Sie den Standort Frankfurt.
  3. Wählen Sie fc-prod-fra-core als Rechenzentrum und fc-data als Rechenzentrum-LAN.
  4. Geben Sie die drei Broker-Adressen .7, .8 und .9 des fc-data Subnetzes ein. Diese müssen zum Subnetz dieses LANs gehören.
  5. Wählen Sie Speichern und warten Sie, bis der Cluster im Zustand Verfügbar ist.
  6. Wählen Sie den Cluster aus, öffnen Sie den Tab Themen und wählen Sie Thema erstellen.
  7. Geben Sie den Namen payments.events, einen Replikationsfaktor von 3 und eine Anzahl der Partitionen von 6 ein, das Doppelte der Broker-Anzahl.
  8. Belassen Sie die Aufbewahrungsdauer (ms) bei 604800000 für sieben Tage und belassen Sie die Standard-Aufbewahrungssegmentgröße (B).
  9. Wählen Sie Erstellen. Wiederholen Sie dies für customer.events und für payments.dlq, wobei das Dead-Letter-Thema eine längere Aufbewahrungsdauer erhält.
  10. Rufen Sie die Client-Zugangsdaten, die Zertifizierungsstelle, das Zertifikat und den privaten Schlüssel über den API-Endpunkt GET /clusters/{clusterId}/users/{userId}/access ab und speichern Sie sie im Secret Store, der vom Outbox-Relay und den Consumern verwendet wird.

Häufige Fehler:

  • Auswahl einer Partitionszahl, die kein Vielfaches von drei ist. Die Partitionen verteilen sich dann ungleichmäßig auf die Broker.
  • Zufällige Schlüsselung von Zahlungsevents. Die Reihenfolge gilt nur pro Schlüssel innerhalb einer Partition; schlüsseln Sie nach Kontoidentifikator.
  • Planung, Partitionen später „bei Bedarf" hinzuzufügen. Dies verschiebt Schlüssel und bricht die Reihenfolge pro Schlüssel.
  • Sieben Tage Aufbewahrung als Archiv zu betrachten. Archivieren Sie in Object Storage, bevor Daten verfallen oder ein Thema gelöscht wird.
  • Auslaufen von Client-Zertifikaten zu übersehen. Diese sind 365 Tage gültig; planen Sie die Erneuerung im 30-Tage-Fenster ein.

Zusammenfassung

Die Anzahl der Partitionen und der Schlüssel eines Kafka-Themas bilden dessen dauerhafte Architektur: Die Reihenfolge wird pro Schlüssel innerhalb einer Partition aufrechterhalten, die Parallelität ist durch die Partitionszahl begrenzt, und die Anzahl sollte ein Vielfaches der drei Broker sein. Der Replikationsfaktor und die Aufbewahrungsdauer multiplizieren den Speicherbedarf, daher sollte die Clustergröße anhand von Durchsatz mal Aufbewahrungsdauer mal Replikationsfaktor dimensioniert werden. Der Stream ersetzt die Erfassung von Datenänderungen (Change Data Capture) über den transaktionalen Outbox, übergibt seine Historie an Object Storage und versorgt die KI-Ebene als eine weitere Consumer-Gruppe.

Wichtige Punkte:

  • Jede Clustergröße umfasst drei Broker; die Größen unterscheiden sich in der Anzahl der Kerne, des RAM und des Speichers pro Broker.
  • Verwenden Sie Partitionszahlen als Vielfache der Brokeranzahl, mindestens gleich ihr.
  • Ein Replikationsfaktor von 3 wird empfohlen; die Standardaufbewahrungsdauer beträgt sieben Tage.
  • Clients authentifizieren sich mit mTLS; Zertifikate haben eine Gültigkeitsdauer von 365 Tagen, wobei eine Verlängerung 30 Tage im Voraus möglich ist.
  • Das Outbox-Muster macht die ereignisbasierte Erfassung auf Anwendungsebene absturzsicher.

Wichtige Begriffe:

  • Partition: ein geordnetes Protokoll innerhalb eines Themas, die Einheit der Reihenfolge und der Consumer-Parallelität.
  • Consumer-Gruppe: eine Gruppe von Consumern, die die Partitionen eines Themas teilen und ihre Offsets gemeinsam verfolgen.
  • Transaktioneller Outbox: eine Tabelle, die in derselben Datenbanktransaktion wie die geschäftliche Änderung geschrieben wird, aus der ein Relay Ereignisse veröffentlicht.
  • Dead-Letter-Thema: ein Thema, das Nachrichten empfängt, die ein Consumer nicht verarbeiten konnte.