Unité 6.5 : Inférence IA : AI Model Hub géré
Introduction
FinCorp souhaite un assistant capable de répondre aux questions des conseillers à partir de documents de politique interne. La première décision architecturale concerne l'endroit où l'inférence s'exécute : sur un point de terminaison managé facturé par jeton, ou sur des serveurs GPU exploités par FinCorp. La deuxième concerne la manière dont le modèle obtient les connaissances de FinCorp sans être entraîné sur celles-ci.
Cette unité prend les deux décisions dans le cadre d'IONOS CLOUD et se termine par une construction légère : un utilisateur d'inférence, un test dans le Playground et la même requête envoyée depuis le cluster privé fc-k8s-ai de l'unité 6.3.
1. L'inférence managée par défaut
1.1 Ce que le service vous offre
AI Model Hub est un service d'inférence : il met à disposition des modèles pré-entraînés via des API REST, et vous n'avez pas à gérer le matériel. Il propose sa propre API ainsi qu'une API compatible OpenAI, dont l'URL de base est https://openai.inference.de-txl.ionos.com/v1. Ses points d'accès, tels que les modèles, les complétions de chat, les générations d'images et les embeddings, reproduisent la structure de l'API d'OpenAI. Ainsi, les outils qui prennent en charge les points d'accès OpenAI peuvent s'intégrer en les pointant vers cette URL de base et ce jeton. Les requêtes sont authentifiées à l'aide d'un jeton Bearer, un jeton d'authentification IONOS CLOUD lié à un utilisateur du contrat.
Toute inférence est effectuée dans les centres de données IONOS CLOUD en Allemagne. L'API d'inférence est sans état pour chaque requête : aucune session ou conversation n'est conservée, de sorte qu'une application qui maintient une conversation doit envoyer les tours précédents avec chaque requête. L'unité 6.6 aborde les conséquences en matière de gestion des données.
1.2 Facturation, limites et niveau de service
L'utilisation est facturée en fonction des jetons. Les grands modèles de langage sont facturés par million de jetons d'entrée et par million de jetons de sortie ; les modèles d'embeddings et de réordonnancement par million de jetons d'entrée à un tarif unique ; les modèles texte-vers-image par image ou par mégapixel. Trois détails sont importants pour la conception des coûts. Un prompt système et les définitions d'outils comptent comme des entrées. Chaque nouvelle tentative est mesurée séparément, y compris la sortie qu'une tentative échouée avait déjà produite. Et une entrée répétée ne bénéficie d'aucune remise, même si la mise en cache des prompts la rend plus rapide.
La limite de débit par défaut est de 5 requêtes par seconde par modèle, avec une rafale de 10 requêtes sur une fenêtre de 2 secondes, appliquée par contrat et non par utilisateur. En cas de dépassement, la réponse est HTTP 429 Too Many Requests avec un en-tête Retry-After, de sorte que les clients doivent mettre en œuvre un recul et une file d'attente devant les tâches en masse, telles que l'encodage d'un corpus entier. Votre contrat peut avoir des limites personnalisées. Le SLA de disponibilité par service est de 99,9 pour cent, limité aux points d'accès de l'API.
Le catalogue de modèles évolue. Des modèles sont introduits et retirés, et chaque retrait indique une date et une alternative. Considérez l'identifiant du modèle comme une configuration, suivez le calendrier de retrait et relancez vos tests de qualité avant de basculer.
1.3 Accès au point d'accès depuis un réseau privé
Le point d'accès est atteint via Internet. Les charges de travail privées ont besoin d'un chemin de trafic sortant : les machines virtuelles utilisent leur passerelle NAT (unité 3.6), et les nœuds de fc-k8s-ai utilisent la passerelle NAT déployée par le service de cluster (unité 6.3). Aucun chemin entrant n'est nécessaire, car l'appel est sortant.
2. Quand le déploiement de GPU auto-hébergé est justifié
2.1 La Cloud GPU VM
Les Cloud GPU VM disposent de GPU NVIDIA H200 Tensor Core dédiés, chacun doté de 141 Go de mémoire HBM3e et d'une bande passante mémoire de 4,8 To/s, connectés via un pass-through PCIe. Elles sont proposées sous quatre modèles fixes :
| Modèle | Modèle de GPU | Type de GPU | Nombre de GPU | CPU dédiés | RAM (GiB) | Stockage (Go) |
|---|---|---|---|---|---|---|
| S | NVIDIA H200 | H200 PCIe | 1 | 15 | 267 | 1024 |
| M | NVIDIA H200 | H200 PCIe | 2 | 30 | 534 | 1536 |
| L | NVIDIA H200 | H200 PCIe | 4 | 60 | 1068 | 2048 |
| XL | NVIDIA H200 | H200 PCIe | 8 | 127 | 2136 | 4096 |
Comme indiqué ci-dessus, le nombre de CPU et la RAM augmentent proportionnellement au nombre de GPU. Les tarifs horaires des modèles sont de 3,0, 6,0, 12,0 et 24,0 EUR pour S, M, L et XL. Le modèle XL organise ses huit GPU en deux clusters de quatre, connectés par NVLink au sein de chaque cluster, il convient donc de traiter chaque cluster séparément plutôt que comme un pool unique de 8 GPU.
2.2 La charge opérationnelle
Les contraintes suivantes font de l'auto-hébergement un choix délibéré :
- Aucun SLA. L'Accord de niveau de service ne s'applique pas au produit Cloud GPU VM, quel que soit le variant ou la configuration.
- Redémarrages. Il n'y a pas de transferts en arrière-plan sans interruption pendant la maintenance, de sorte que certaines mises à jour nécessitent une arrêt ou un redémarrage, et que la maintenance d'urgence peut être annoncée avec peu ou pas d'avis préalable. Les services doivent redémarrer automatiquement au démarrage.
- Taille fixe. Le modèle est défini lors de la provision ; le CPU et la RAM ne peuvent pas être augmentés ou réduits par la suite.
- Emplacement. Les Cloud GPU VM ne sont disponibles qu'à Francfort (
de/fra/2) et Worcester (gb/bhx), la zone de disponibilité étant toujours définie sur Auto. Seules les images IONOS CLOUD Linux sont prises en charge au démarrage. - Quota. Par défaut, un contrat peut déployer une Cloud GPU VM avec le modèle S. Les modèles plus grands ou un plus grand nombre d'instances nécessitent une augmentation de la limite de ressources auprès du support.
Un point d'accès auto-hébergé redondant nécessite donc au moins deux instances, derrière un équilibreur de charge de votre conception, ainsi que la demande de quota et votre propre pile de service de modèles. L'auto-hébergement est justifié pour un modèle non proposé par le catalogue, pour le fine-tuning, ou pour une inférence continue et constante où un tarif horaire fixe est prévisible. Sinon, l'inférence managée est plus simple à exploiter et est accompagnée d'un SLA.
2.3 Dimensionnement de l'inférence par rapport au fine-tuning
Dimensionnez l'inférence en fonction de la mémoire nécessaire sur le GPU pour les poids du modèle et les requêtes concurrentes, et choisissez le plus petit modèle qui convient, car le modèle ne peut pas être agrandi par la suite. Le fine-tuning nécessite beaucoup plus de mémoire GPU que l'inférence pour le même modèle, car l'entraînement conserve également les gradients et l'état de l'optimiseur ; c'est une tâche par lots, il peut donc s'exécuter sur un modèle plus grand pendant sa durée et être supprimé. AI Model Hub est un service d'inférence pour son catalogue de modèles pré-entraînés, tandis que le fine-tuning est un cas d'utilisation documenté des Cloud GPU VM. Dans cette conception, un modèle fine-tuné est un modèle auto-hébergé.
3. La génération augmentée par récupération comme modèle
RAG récupère des passages pertinents à partir de vos données et les insère dans le prompt, afin que le modèle réponde à partir de vos connaissances sans avoir été entraîné dessus. Sur IONOS CLOUD, vous le composez à partir de trois services, tous hébergés dans des centres de données allemands :
- Corpus dans IONOS Cloud Object Storage. Les documents sources restent dans un bucket versionné, tel que
fc-ai-corpus-fra, qui constitue le système de référence pour la réindexation (Unité 5.2). L'API d'embeddings accepte du texte brut, de sorte que l'extraction de texte depuis des fichiers PDF ou Word constitue votre étape de pipeline. - Embeddings depuis AI Model Hub. Chaque fragment de texte est envoyé vers le point de terminaison d'embeddings compatible OpenAI. Le guide documenté utilise
BAAI/bge-m3, avec une sortie de 1024 dimensions. - Vecteurs dans DBaaS for PostgreSQL. Managed PostgreSQL inclut l'extension
vector(pgvector), activée avecCREATE EXTENSION vector CASCADE;. Son type de données vectoriel et les méthodes d'accèsivfflatethnswtransforment une table standard en stockage vectoriel, géré aux côtés des données relationnelles.
Au moment de la requête, le worker embarque la question, récupère les fragments les plus proches avec SQL, les réordonne éventuellement avec un modèle de reranking à POST /v1/rerank, et les envoie avec la question à POST /v1/chat/completions. Comme le modèle d'embeddings fixe la dimension du vecteur, le modifier implique de ré-embedder le corpus ; enregistrez l'identifiant du modèle à côté de chaque vecteur.
La conception de FinCorp exécute les workers dans fc-k8s-ai, un cluster PostgreSQL fc-pg-rag sur le LAN fc-ai-app pour les vecteurs, et le bucket du corpus à Francfort. L'inférence gérée est la valeur par défaut ; aucune VM GPU n'est prévue jusqu'à l'apparition d'un besoin de fine-tuning.
Déroulement de la mise en œuvre de DCD
Vous allez créer une identité d'inférence dédiée, tester un modèle dans le Playground et envoyer la même requête en tant qu'appel compatible OpenAI. Il s'agit du mode par défaut géré de la section 1.
Prérequis : un contrat avec la version complète déverrouillée ; un accès Administrateur ou Propriétaire du contrat pour la configuration du groupe.
Objectif de construction : Tester un modèle et produire un appel compatible OpenAI opérationnel.
Étapes (dans Data Center Designer) :
- Ouvrir Management > Users & Groups. Sous Groups, sélectionner + Create, saisir le Group Name
fc-ai-inference, puis sélectionner Create. Sélectionner le groupe et cocher Access and manage AI Model Hub. - Sous Users, sélectionner + Create et créer
svc-fc-ai-inference. Dans sa zone Groups, sélectionner + Add to Group et choisirfc-ai-inference. - Se connecter en tant que
svc-fc-ai-inference, ouvrir Management > Token Manager, sélectionner une Time to Live (TTL) et sélectionner Generate Token. Copier le jeton immédiatement ; il ne sera plus affiché ensuite. - Accéder à AI > AI Model Hub. L'onglet Models répertorie les modèles disponibles avec leurs tarifs ; noter l'identifiant du modèle à tester.
- Ouvrir l'onglet Playground et tester le modèle avec une invite représentative. Les requêtes du Playground sont facturées aux tarifs standard du modèle.
- Depuis un pod dans
fc-k8s-ai, envoyer la même requête à l'endpoint de complétion de discussion, en plaçant le jeton dans la variable d'environnementIONOS_API_TOKEN.
curl -X POST https://openai.inference.de-txl.ionos.com/v1/chat/completions \
-H "Authorization: Bearer ${IONOS_API_TOKEN}" \
-H "Content-Type: application/json" \
-d '{"model": "<model-id>", "messages": [{"role": "user", "content": "Summarise the attached policy."}]}'
L'appel illustre le point architectural de la section 1.1 : la requête est complète en soi, sans session côté serveur, et quitte le cluster par sa passerelle NAT.
Erreurs courantes :
- Générer le jeton d'inférence en tant que propriétaire du contrat. Utilisez un utilisateur dédié dans un groupe ne disposant que du privilège AI Model Hub.
- Perdre le jeton. Il n'est affiché qu'une seule fois ; générez-en un nouveau et mettez à jour le secret.
- S'attendre à ce que le service mémorise une conversation. Il est sans état ; envoyez les tours précédents.
- Des tentatives de reconnexion client illimitées. Chaque tentative est facturée, donc limitez-les et respectez
Retry-After. - Inscrire en dur un identifiant de modèle sans propriétaire pour sa date de retrait.
- Placer une Cloud GPU VM dans un VDC en dehors de
de/fra/2ou degb/bhx, ou planifier une seule instance comme point de terminaison de production sans SLA.
Résumé
L'inférence gérée sur AI Model Hub est la solution par défaut de FinCorp : une API compatible OpenAI, sans état, traitée en Allemagne, facturée par jeton, avec un SLA de 99,9 pour cent sur ses points d'accès. L'auto-hébergement sur des Cloud GPU VMs constitue une exception délibérée pour le fine-tuning, les modèles manquants ou une charge constante, et il implique des modèles de configuration fixes, des redémarrages de maintenance et l'absence de SLA. Les connaissances parviennent au modèle via RAG : corpus dans Object Storage, embeddings provenant du hub, vecteurs dans PostgreSQL avec pgvector.
Points clés :
- L'URL de base compatible OpenAI est
https://openai.inference.de-txl.ionos.com/v1, avec une authentification par jeton Bearer. - Les limites par défaut sont de 5 requêtes par seconde par modèle, avec une pointe de 10, selon le contrat ; HTTP 429 signifie qu'il faut ralentir.
- Le SLA ne s'applique pas aux Cloud GPU VMs ; leur taille est fixe et la maintenance peut les redémarrer.
- AI Model Hub fournit son catalogue de modèles pré-entraînés ; le fine-tuning est une tâche auto-hébergée sur des Cloud GPU VMs.
- RAG combine Object Storage, les embeddings d'AI Model Hub et DBaaS pour PostgreSQL avec l'extension
vector.