Unidad 5.6: Streaming de eventos (Kafka administrado)
Introducción
Los modelos de detección de fraude de FinCorp, su servicio de notificaciones y su almacén de informes para reportes necesitan saber cuándo se realiza un pago. Si tres consumidores consultaran la base de datos de pagos mediante sondeo, se sobrecargaría la instancia principal que la Unidad 5.3 trabajó para proteger. Por lo tanto, la arquitectura necesita un registro de eventos de negocio, publicado por la aplicación, que cualquier número de consumidores pueda leer a su propio ritmo.
Event Streams for Apache Kafka es un servicio totalmente administrado de Apache Kafka con conmutación por error automática y comunicación protegida con TLS, conectado a una LAN privada. La creación del clúster es rápida; las decisiones que perduran son las formas de los temas, porque la cantidad de particiones y la clave determinan el orden y la paralelización durante toda la vida del tema. Esta unidad diseña dichas decisiones y termina construyendo el clúster de eventos de FinCorp y su primer tema en el DCD.
1. Particiones: orden y paralelismo
1.1 Lo que garantiza una partición
Kafka mantiene el orden de los mensajes dentro de una partición, no a través de todo un tema. Un productor que envía mensajes con una clave coloca todos los mensajes con la misma clave en la misma partición, por lo que el orden se mantiene por clave. Para FinCorp, la clave de un evento de pago es el identificador de la cuenta: todos los eventos de una cuenta llegan en orden, mientras que los eventos de cuentas diferentes se procesan en paralelo.
Las particiones también son la unidad de procesamiento paralelo. Dentro de un grupo de consumidores, cada partición es leída por un solo consumidor a la vez, y cada grupo rastrea su propia posición, el desplazamiento (offset), por partición. Por lo tanto, tres grupos de consumidores, para fraude, notificación e informes, leen el mismo tema de forma independiente, y el número de particiones limita cuántos consumidores en un grupo realizan trabajo útil.
1.2 Número de particiones y número de brokers
Cada tamaño de clúster ejecuta tres brokers. El número de particiones debe ser igual o mayor que el número de brokers, y 2x o 3x el número de brokers o más cuando el rendimiento es una prioridad. Utilice solo múltiplos del número de brokers, como 3, 6, 9 o 12, para evitar una distribución desigual de las particiones. Elija el número para el paralelismo de consumo máximo que espera, porque agregar particiones más adelante mueve las claves a diferentes particiones y rompe el orden por clave durante el cambio.
2. Palancas de fiabilidad y coste
2.1 Factor de replicación y retención
El factor de replicación establece cuántas copias de cada mensaje se conservan en distintos brokers; se recomienda un factor de replicación de 3, y con tres brokers se coloca una copia en cada uno. El tiempo de retención determina cuánto tiempo permanecen los mensajes en un tema. Su valor predeterminado es 604800000 ms (7 días), y -1 elimina el límite de tiempo. El tamaño de segmento, en el que se rotan los segmentos del registro, tiene un valor predeterminado de 1073741824 bytes (1 GB) y debe ser de al menos 14 bytes.
Ambas palancas multiplican el almacenamiento. El consumo final de almacenamiento puede ser varias veces el volumen de datos entrantes, dependiendo del factor de replicación.
2.2 Tamaños de Cluster
La siguiente tabla enumera los tamaños de Cluster:
| Tamaño | Brokers | Núcleos por broker | RAM por broker | Almacenamiento por broker | Almacenamiento total |
|---|---|---|---|---|---|
| XS | 3 | 1 | 2 GB | 195 GB | 585 GB |
| S | 3 | 2 | 4 GB | 250 GB | 750 GB |
| M | 3 | 2 | 8 GB | 400 GB | 1200 GB |
| L | 3 | 4 | 16 GB | 800 GB | 2400 GB |
| XL | 3 | 8 | 32 GB | 1500 GB | 4500 GB |
Como se muestra anteriormente, cada tamaño añade capacidad por broker, no más brokers. Dimensione el tamaño en función del rendimiento y la retención. FinCorp espera aproximadamente 100 KB por segundo de eventos de pago y 50 KB por segundo de eventos de cliente, conservados durante siete días: 150 KB/s x 604,800 s equivale a aproximadamente 91 GB de datos entrantes, aproximadamente 272 GB con un factor de replicación de 3. El tamaño S, con 750 GB, deja margen para el crecimiento y para una retención más larga en el tema de mensajes muertos.
2.3 Seguridad y ubicación
La comunicación con el Cluster está protegida con TLS, y la autenticación utiliza TLS mutuo (mTLS): el cliente verifica el certificado del servidor contra la autoridad de certificación del Cluster, porque el Cluster no tiene certificados firmados públicamente, y el servidor verifica el certificado del cliente. Cada certificado es válido durante 365 días, y un certificado renovado está disponible desde la API 30 días antes de la expiración. La rotación de certificados es, por lo tanto, un elemento anual del libro de procedimientos, con una ventana de 30 días para implementarlo en cada productor y consumidor.
El Cluster se conecta a una LAN en su VDC, y las direcciones de los brokers deben pertenecer a la subred de esa LAN. Kafka está disponible en Berlín (de-txl) y Fráncfort (de-fra, de-fra-1 y de-fra-2), entre otras ubicaciones.
3. El flujo en la arquitectura de datos
3.1 Captura de eventos a nivel de aplicación
En el modelo de sustitución nativa, la captura de datos de cambios se compone a nivel de aplicación (Unidad 1.3): la aplicación publica cada cambio de negocio como un evento. El riesgo es una escritura que llega a la base de datos mientras su evento nunca llega a Kafka, o viceversa. La solución estándar es el buzón de salida transaccional: el servicio de pagos escribe el pago y una fila del buzón de salida en la misma transacción de PostgreSQL, y un proceso de reenvío lee las nuevas filas del buzón de salida, las publica en Kafka y las marca como enviadas. Una caída provoca entonces como máximo un duplicado, nunca un evento perdido, por lo que los consumidores deben ser idempotentes, por ejemplo, mediante el seguimiento del ID del evento. El buzón de salida se encuentra en el clúster Strictly Synchronous de la Unidad 5.3, por lo que un conmutación por error de la base de datos tampoco pierde eventos.
3.2 Archivo y cola de mensajes no procesados
La retención no es un archivo. Un trabajo de consumidor escribe los eventos de cada tema en IONOS Cloud Object Storage en objetos particionados por tiempo, bajo una regla de ciclo de vida (Unidad 5.2), de modo que la generación de informes y el entrenamiento de modelos puedan reproducir el historial más allá de siete días. Eliminar un tema elimina permanentemente sus datos, lo cual es una razón más para archivar primero.
Los mensajes que un consumidor no puede procesar se dirigen a un tema de mensajes no procesados, payments.dlq, en lugar de bloquear la partición. Un consumidor pequeño mueve los mensajes no procesados a un prefijo de Object Storage para su investigación, y la regla de ciclo de vida de ese prefijo los expira después del período de investigación.
3.3 El eje de ingesta para IA
El mismo tema alimenta el nivel de IA de FinCorp. Los consumidores en fc-prod-fra-ai leen a través del Cross Connect de la Unidad 3.6, que por lo tanto debe unirse a la LAN fc-data, como su propio grupo de consumidores, de modo que las características del modelo se actualicen desde el flujo de eventos sin tocar la base de datos de pagos. La Unidad 6.5 construye el lado de inferencia.
Recorrido de implementación de DCD
Creará el clúster de eventos fc-kafka-events de FinCorp en fc-data y su primer tema, payments.events, definido por las Secciones 1 y 2. Esto materializa el registro de eventos que escribe el reenvío de outbox y que leen tres grupos de consumidores.
Requisitos previos: el VDC fc-prod-fra-core con al menos una VM en la LAN fc-data; tres direcciones libres en fc-data (FinCorp utiliza .7 hasta .9, lo que completa el rango de servicio gestionado de esa LAN; el siguiente servicio gestionado requiere una nueva LAN); el acceso a la API de IONOS CLOUD del equipo de plataforma para recuperar las credenciales.
Objetivo de construcción: Crear un clúster y un tema bien dimensionado.
Pasos (en el Data Center Designer):
- Vaya a Menú > Data Analytics > Event Streams for Apache Kafka y seleccione Create cluster.
- Introduzca el Cluster Name
fc-kafka-events, seleccione laKafka Version, elija el Cluster Size S y seleccione la Location de Frankfurt. - Seleccione
fc-prod-fra-corecomo Datacenter yfc-datacomo Datacenter LAN. - Introduzca las tres direcciones de brokers
.7,.8y.9de la subredfc-data. Deben pertenecer a la subred de esa LAN. - Seleccione Save y espere hasta que el clúster esté en el estado Available.
- Seleccione el clúster, abra la pestaña Topics y seleccione Create topic.
- Introduzca el Name
payments.events, un Replication Factor de 3 y un Number of Partitions de 6, el doble del número de brokers. - Mantenga Retention Time (ms) en 604800000 para siete días y mantenga el valor predeterminado de Retention Segment Size (B).
- Seleccione Create. Repita el proceso para
customer.eventsy parapayments.dlq, asignando al tema de letras muertas un tiempo de retención más largo. - Recupere las credenciales del cliente, la autoridad de certificación, el certificado y la clave privada, a través del endpoint de API
GET /clusters/{clusterId}/users/{userId}/access, y guárdelos en el almacén de secretos utilizado por el reenvío de outbox y los consumidores.
Errores comunes:
- Elegir un número de particiones que no sea múltiplo de tres. En ese caso, las particiones se distribuyen de forma desigual entre los brokers.
- Asignar claves aleatorias a los eventos de pago. El orden solo se mantiene por clave dentro de una partición; asigne la clave por ID de cuenta.
- Planear añadir particiones más adelante "cuando sea necesario". Esto desplaza las claves y rompe el orden por clave.
- Considerar los siete días de retención como el archivo. Archive en Object Storage antes de que los datos caduquen o se elimine un tema.
- Permitir que los certificados del cliente caduquen. Son válidos durante 365 días; programe la renovación en la ventana de 30 días.
Resumen
La cantidad de particiones y la clave de un tema de Kafka constituyen su diseño permanente: el ordenamiento se mantiene por clave dentro de una partición, la paralelización está limitada por la cantidad de particiones, y dicha cantidad debe ser un múltiplo de los tres brokers. El factor de replicación y la retención multiplican el almacenamiento, por lo que el tamaño del clúster debe calcularse a partir del rendimiento por retención por replicación. El flujo sustituye la captura de datos de cambios a través del outbox transaccional, entrega su historial a Object Storage y alimenta la capa de IA como un grupo de consumidores más.
Puntos clave:
- Cada tamaño de clúster tiene tres brokers; los tamaños difieren en núcleos, RAM y almacenamiento por broker.
- Utilice cantidades de particiones en múltiplos de la cantidad de brokers, al menos iguales a esta.
- Se recomienda un factor de replicación de 3; la retención predeterminada es de siete días.
- Los clientes se autentican con mTLS; los certificados tienen una vigencia de 365 días, con renovación disponible 30 días antes.
- El patrón de outbox hace que la captura de eventos a nivel de aplicación sea segura ante fallos.
Terminología importante:
- Partición: un registro ordenado dentro de un tema, la unidad de ordenamiento y de paralelización del consumidor.
- Grupo de consumidores: un conjunto de consumidores que comparten las particiones de un tema y rastrean sus desplazamientos de forma conjunta.
- Outbox transaccional: una tabla escrita en la misma transacción de base de datos que el cambio de negocio, desde la cual un relé publica eventos.
- Tema de mensajes no procesados: un tema que recibe mensajes que un consumidor no pudo procesar.