11 min de lectura

Objetivos de aprendizaje

Al final de este módulo, podrás:

  • Justificar la inferencia administrada en AI Model Hub como la opción predeterminada para entornos empresariales, basándose en su API, facturación, ausencia de estado y ubicación de procesamiento.
  • Determinar cuándo está justificado el servicio autoalojado en Cloud GPU VMs, y diseñar para la ausencia de SLA y sus reinicios de mantenimiento.
  • Dimensionar la capacidad de GPU de manera diferente para la inferencia y para el ajuste fino.
  • Diseñar la generación aumentada por recuperación (RAG) a partir de embeddings de AI Model Hub, pgvector en DBaaS para PostgreSQL y un corpus en IONOS Cloud Object Storage.
  • Probar un modelo en Data Center Designer (DCD) y realizar una llamada compatible con OpenAI que funcione correctamente.

Unidad 6.5: Inferencia de IA: Hub de modelos administrado

Introducción

FinCorp desea un asistente que responda a las preguntas de los asesores a partir de documentos de políticas internas. La primera decisión arquitectónica es dónde se ejecuta la inferencia: en un endpoint gestionado con facturación por token, o en servidores GPU que FinCorp opera. La segunda es cómo el modelo obtiene el conocimiento de FinCorp sin ser entrenado con él.

Esta unidad toma ambas decisiones en términos de IONOS CLOUD y termina con una construcción ligera: un usuario de inferencia, una prueba en el Playground y la misma solicitud enviada desde el clúster privado fc-k8s-ai de la Unidad 6.3.

1. Inferencia administrada como opción predeterminada

1.1 Qué le ofrece el servicio

AI Model Hub es un servicio de inferencia: sirve modelos preentrenados a través de APIs REST, y usted no administra el hardware. Ofrece su propia API y una API compatible con OpenAI, cuya URL base es https://openai.inference.de-txl.ionos.com/v1. Sus endpoints, como modelos, completaciones de chat, generaciones de imágenes y embeddings, replican la estructura de la API de OpenAI, por lo que las herramientas que admiten endpoints de OpenAI se integran apuntándolas a esta URL base y token. Las solicitudes se autentican con un token Bearer, un token de autenticación de IONOS CLOUD que está vinculado a un usuario del contrato.

Toda la inferencia se realiza en centros de datos de IONOS CLOUD en Alemania. La API de inferencia es sin estado por solicitud: no se conserva ninguna sesión ni conversación, por lo que una aplicación que mantiene una conversación envía los turnos anteriores con cada solicitud. La Unidad 6.6 aborda las consecuencias para el tratamiento de los datos.

1.2 Facturación, límites y nivel de servicio

El uso se factura por tokens. Los modelos de lenguaje de gran tamaño se cobran por millón de tokens de entrada y por millón de tokens de salida; los modelos de embeddings y reranking por millón de tokens de entrada a una tarifa única; los modelos de texto a imagen por imagen o por megapíxel. Tres detalles importan para el diseño de costos. Un prompt de sistema y las definiciones de herramientas cuentan como entrada. Cada reintento se mide por separado, incluida la salida que un intento fallido ya había producido. Y la entrada repetida no tiene descuento, incluso cuando la caché de prompts la hace más rápida.

El límite de velocidad predeterminado es de 5 solicitudes por segundo por modelo, con un estallido de 10 solicitudes en una ventana de 2 segundos, aplicado por contrato y no por usuario. Superarlo devuelve HTTP 429 Too Many Requests con un encabezado Retry-After, por lo que los clientes necesitan retroceso y una cola delante de los trabajos masivos, como el embedding de un corpus completo. Su contrato puede tener límites personalizados. El SLA de disponibilidad por servicio es del 99,9 por ciento, limitado a los endpoints de la API.

El catálogo de modelos cambia. Se introducen y retiran modelos, y cada retiro indica una fecha y una alternativa. Trate el ID del modelo como configuración, siga el calendario de retiro y vuelva a ejecutar sus pruebas de calidad antes de cambiar.

1.3 Acceso al endpoint desde una red privada

El endpoint se alcanza a través de internet. Las cargas de trabajo privadas necesitan una ruta de salida: las VMs usan su NAT Gateway (Unidad 3.6), y los nodos de fc-k8s-ai usan el NAT Gateway que el servicio de clúster desplegó (Unidad 6.3). No se necesita ninguna ruta de entrada, porque la llamada es de salida.

2. Cuándo se justifica la ejecución de GPU autoalojada

2.1 La Cloud GPU VM

Las Cloud GPU VM incluyen GPU NVIDIA H200 Tensor Core dedicadas, cada una con 141 GB de memoria HBM3e y 4,8 TB/s de ancho de banda de memoria, conectadas mediante passthrough de PCIe. Se ofrecen en cuatro plantillas fijas:

Plantilla Modelo de GPU Tipo de GPU Número de GPU CPU dedicadas RAM (GiB) Almacenamiento (GB)
S NVIDIA H200 H200 PCIe 1 15 267 1024
M NVIDIA H200 H200 PCIe 2 30 534 1536
L NVIDIA H200 H200 PCIe 4 60 1068 2048
XL NVIDIA H200 H200 PCIe 8 127 2136 4096

Como se muestra arriba, la CPU y la RAM crecen en proporción al número de GPU. Las tarifas horarias por plantilla son 3,0, 6,0, 12,0 y 24,0 EUR para S, M, L y XL. La plantilla XL organiza sus ocho GPU como dos clústeres de cuatro, conectados mediante NVLink dentro de cada clúster, por lo que debe tratar cada clúster por separado y no como un único conjunto de 8 GPU.

2.2 La carga operativa

Las restricciones son las que hacen que la autoalojación sea una elección deliberada:

  • Sin SLA. El Acuerdo de Nivel de Servicio no se aplica al producto Cloud GPU VM, independientemente de la variante o configuración.
  • Reinicios. No hay transferencias de fondo sin interrupciones durante el mantenimiento, por lo que algunas actualizaciones requieren un apagado o reinicio, y el mantenimiento de emergencia puede realizarse con poca o ninguna notificación. Los servicios deben reiniciarse automáticamente al arrancar.
  • Tamaño fijo. La plantilla se fija en el aprovisionamiento; la CPU y la RAM no pueden escalarse hacia arriba o hacia abajo posteriormente.
  • Ubicación. Las Cloud GPU VM están disponibles solo en Frankfurt (de/fra/2) y Worcester (gb/bhx), con la zona de disponibilidad siempre establecida en Auto. Solo se admiten imágenes de IONOS CLOUD Linux al inicio.
  • Cuota. Por defecto, un contrato puede desplegar una Cloud GPU VM con la plantilla S. Plantillas más grandes o más instancias requieren un aumento del límite de recursos por parte del soporte.

Por lo tanto, un endpoint autoalojado redundante necesita al menos dos instancias, detrás de un equilibrador de carga de su propio diseño, además de la solicitud de cuota y su propia pila de ejecución de modelos. La autoalojación se justifica para un modelo que no ofrece el catálogo, para el ajuste fino, o para inferencia constante las 24 horas donde una tarifa horaria fija es predecible. De lo contrario, la inferencia gestionada es más sencilla de operar y viene con un SLA.

2.3 Dimensionamiento para inferencia frente a ajuste fino

Dimensione la inferencia según la memoria que los pesos del modelo y las solicitudes concurrentes necesiten en la GPU, y elija la plantilla más pequeña que quepa, porque la plantilla no puede crecer posteriormente. El ajuste fino necesita mucha más memoria de GPU que la inferencia para el mismo modelo, porque el entrenamiento también retiene gradientes y estado del optimizador; es un trabajo por lotes, por lo que puede ejecutarse en una plantilla más grande durante su duración y luego eliminarse. AI Model Hub es un servicio de inferencia para su catálogo de modelos preentrenados, mientras que el ajuste fino es un caso de uso documentado de las Cloud GPU VM. En este diseño, un modelo ajustado finamente es un modelo autoalojado.

3. Generación aumentada por recuperación como patrón

RAG recupera pasajes relevantes de sus datos y los inserta en el prompt, de modo que el modelo responde a partir de su conocimiento sin haber sido entrenado con él. En IONOS CLOUD lo compone con tres servicios, todos alojados en centros de datos alemanes:

  1. Corpus en IONOS Cloud Object Storage. Los documentos de origen se mantienen en un bucket versionado, como fc-ai-corpus-fra, que es el sistema de referencia para la reindexación (Unidad 5.2). La API de embeddings acepta texto plano, por lo que la extracción de texto de archivos PDF o Word es su paso de pipeline.
  2. Embeddings desde AI Model Hub. Cada fragmento de texto se envía al endpoint de embeddings compatible con OpenAI. La guía documentada utiliza BAAI/bge-m3, con salida de 1024 dimensiones.
  3. Vectores en DBaaS para PostgreSQL. Managed PostgreSQL incluye la extensión vector (pgvector), activada con CREATE EXTENSION vector CASCADE;. Su tipo de datos vectorial y los métodos de acceso ivfflat y hnsw convierten una tabla estándar en un almacén de vectores, gestionado junto con los datos relacionales.

En el momento de la consulta, el worker incrusta la pregunta, recupera los fragmentos más cercanos mediante SQL, los reordena opcionalmente con un modelo de reranking en POST /v1/rerank, y los envía junto con la pregunta a POST /v1/chat/completions. Dado que el modelo de embeddings fija la dimensión del vector, cambiarlo implica volver a incrustar el corpus; registre el ID del modelo junto a cada vector.

El diseño de FinCorp ejecuta los workers en fc-k8s-ai, un clúster de PostgreSQL fc-pg-rag en la LAN fc-ai-app para los vectores, y el bucket del corpus en Frankfurt. La inferencia gestionada es la opción predeterminada; no se planea ninguna VM con GPU hasta que surja una necesidad de ajuste fino.

Recorrido de implementación de DCD

Creará una identidad de inferencia dedicada, probará un modelo en el Playground y enviará la misma solicitud como una llamada compatible con OpenAI. Esta es la configuración predeterminada administrada de la Sección 1.

Requisitos previos: un contrato con la versión completa desbloqueada; acceso de Administrador o Propietario del contrato para la configuración del grupo.

Objetivo de construcción: Probar un modelo y obtener una llamada compatible con OpenAI que funcione.

Pasos (en Data Center Designer):

  1. Abra Management > Users & Groups. Bajo Groups, seleccione + Create, ingrese el Group Name fc-ai-inference y seleccione Create. Seleccione el grupo y marque Access and manage AI Model Hub.
  2. Bajo Users, seleccione + Create y cree svc-fc-ai-inference. En su área de Groups, seleccione + Add to Group y elija fc-ai-inference.
  3. Inicie sesión como svc-fc-ai-inference, abra Management > Token Manager, seleccione un Time to Live (TTL) y seleccione Generate Token. Copie el token ahora; no se mostrará de nuevo.
  4. Vaya a AI > AI Model Hub. La pestaña Models enumera los modelos disponibles con sus precios; anote el ID del modelo que probará.
  5. Abra la pestaña Playground y pruebe el modelo con un prompt representativo. Las solicitudes de Playground se facturan a las tarifas estándar del modelo.
  6. Desde un pod en fc-k8s-ai, envíe la misma solicitud al endpoint de chat completions, con el token en la variable de entorno IONOS_API_TOKEN.
curl -X POST https://openai.inference.de-txl.ionos.com/v1/chat/completions \
  -H "Authorization: Bearer ${IONOS_API_TOKEN}" \
  -H "Content-Type: application/json" \
  -d '{"model": "<model-id>", "messages": [{"role": "user", "content": "Summarise the attached policy."}]}'

La llamada ilustra el punto arquitectónico de la sección 1.1: la solicitud es completa en sí misma, sin sesión en el servidor, y sale del clúster a través de su NAT Gateway.

Errores comunes:

  • Generar el token de inferencia como el propietario del contrato. Utilice un usuario dedicado en un grupo con solo el privilegio de AI Model Hub.
  • Perder el token. Se muestra una sola vez; genere uno nuevo y actualice el secreto.
  • Esperar que el servicio recuerde una conversación. Es sin estado; envíe los turnos anteriores.
  • Reintentos de cliente sin límite. Cada reintento se factura, por lo que debe establecer un límite y respetar Retry-After.
  • Codificar de forma fija un ID de modelo sin propietario para su fecha de retiro.
  • Colocar una Cloud GPU VM en un VDC fuera de de/fra/2 o gb/bhx, o planificar una instancia como endpoint de producción sin un SLA.

Resumen

La inferencia gestionada en AI Model Hub es el estándar de FinCorp: una API sin estado compatible con OpenAI, procesada en Alemania, facturada por token, con un SLA del 99,9 por ciento en sus endpoints. La autoalojamiento en Cloud GPU VM es una excepción deliberada para el ajuste fino, modelos no disponibles o carga constante, y conlleva plantillas fijas, reinicios por mantenimiento y ausencia de SLA. El conocimiento llega al modelo a través de RAG: corpus en Object Storage, embeddings del hub, vectores en PostgreSQL con pgvector.

Puntos clave:

  • La URL base compatible con OpenAI es https://openai.inference.de-txl.ionos.com/v1, con autenticación mediante token Bearer.
  • Los límites predeterminados son 5 solicitudes por segundo por modelo, con un pico de 10, según el contrato; HTTP 429 indica retroceso.
  • El SLA no se aplica a Cloud GPU VMs; su tamaño es fijo y el mantenimiento puede reiniciarlos.
  • AI Model Hub ofrece su catálogo de modelos preentrenados; el ajuste fino es una tarea autoalojada en Cloud GPU VMs.
  • RAG compone Object Storage, embeddings de AI Model Hub y DBaaS para PostgreSQL con la extensión vector.