Einheit 6.5: KI-Inferenz: Verwalteter Modell-Hub
Einführung
FinCorp benötigt einen Assistenten, der die Fragen der Berater aus internen Richtlinien dokumenten beantwortet. Die erste architektonische Entscheidung betrifft den Ort der Inferenz: auf einem verwalteten Endpunkt, der pro Token abgerechnet wird, oder auf GPU-Servern, die von FinCorp betrieben werden. Die zweite Entscheidung betrifft die Art und Weise, wie das Modell das Wissen von FinCorp erhält, ohne dafür trainiert zu werden.
Diese Einheit trifft beide Entscheidungen auf Basis von IONOS CLOUD und endet mit einem leichten Build: einem Inferenzbenutzer, einem Test im Playground und demselben Request, der aus dem privaten Cluster fc-k8s-ai von Einheit 6.3 gesendet wird.
1. Managed Inference als Standard
1.1 Was der Service bietet
AI Model Hub ist ein Inferenzdienst: Er stellt vortrainierte Modelle über REST APIs bereit, und Sie verwalten keine Hardware. Er bietet eine eigene API und eine OpenAI-kompatible API, deren Basis-URL https://openai.inference.de-txl.ionos.com/v1 ist. Seine Endpunkte, wie Modelle, Chat-Vervollständigungen, Bildgenerierungen und Embeddings, spiegeln die API-Struktur von OpenAI wider, sodass Tools, die OpenAI-Endpunkte unterstützen, integriert werden können, indem sie auf diese Basis-URL und diesen Token zeigen. Anfragen werden mit einem Bearer-Token authentifiziert, einem IONOS CLOUD Authentifizierungstoken, das an einen Benutzer des Vertrags gebunden ist.
Die gesamte Inferenz wird in IONOS CLOUD Rechenzentren in Deutschland ausgeführt. Die Inferenz-API ist pro Anfrage zustandslos: Es wird keine Sitzung oder Konversation gespeichert, sodass eine Anwendung, die eine Konversation führt, die früheren Gesprächsrunden mit jeder Anfrage sendet. Einheit 6.6 behandelt die datenschutzrechtlichen Konsequenzen.
1.2 Abrechnung, Limits und Service Level
Die Nutzung wird nach Token abgerechnet. Große Sprachmodelle werden pro Million Eingabetoken und pro Million Ausgabetoken berechnet; Embedding- und Reranking-Modelle pro Million Eingabetoken zu einem einheitlichen Satz; Text-zu-Bild-Modelle pro Bild oder pro Megapixel. Drei Details sind für das Kostenmanagement wichtig. Ein System-Prompt und Tool-Definitionen werden als Eingabe gezählt. Jeder erneute Versuch wird separat gemessen, einschließlich der Ausgabe, die ein fehlgeschlagener Versuch bereits erzeugt hat. Und wiederholte Eingaben werden nicht vergünstigt, selbst wenn Prompt-Caching sie beschleunigt.
Das Standard-Ratenlimit beträgt 5 Anfragen pro Sekunde pro Modell, mit einem Burst von 10 Anfragen in einem 2-Sekunden-Fenster, erzwungen pro Vertrag und nicht pro Benutzer. Bei Überschreitung wird HTTP 429 Too Many Requests mit einem Retry-After Header zurückgegeben, sodass Clients einen Backoff und eine Warteschlange vor Massenjobs wie dem Embedding eines gesamten Korpus benötigen. Ihr Vertrag kann benutzerdefinierte Limits haben. Die SLA für die Verfügbarkeit pro Service beträgt 99,9 Prozent, bezogen auf die API-Endpunkte.
Das Modellkatalog ändert sich. Modelle werden eingeführt und ausgedient, und jede Ausmusterung nennt ein Datum und eine Alternative. Behandeln Sie die Modell-ID als Konfiguration, verfolgen Sie den Ausmusterungsplan und führen Sie Ihre Qualitätstests neu durch, bevor Sie wechseln.
1.3 Erreichen des Endpunkts aus einem privaten Netzwerk
Der Endpunkt wird über das Internet erreicht. Private Workloads benötigen einen Ausgangspfad: VMs nutzen ihr NAT Gateway (Einheit 3.6), und die Knoten von fc-k8s-ai nutzen das NAT Gateway, das der Cluster-Dienst bereitgestellt hat (Einheit 6.3). Ein Eingangspfad ist nicht erforderlich, da der Aufruf ausgehend ist.
2. Wann selbst gehosteter GPU-Serving gerechtfertigt ist
2.1 Die Cloud GPU VM
Cloud GPU VMs verfügen über dedizierte NVIDIA H200 Tensor Core GPUs, jeweils mit 141 GB HBM3e-Arbeitsspeicher und 4,8 TB/s Speicherbandbreite, angeschlossen über PCIe Passthrough. Sie sind in vier festen Templates verfügbar:
| Template | GPU-Modell | GPU-Typ | Anzahl der GPUs | Dedizierte CPUs | RAM (GiB) | Speicher (GB) |
|---|---|---|---|---|---|---|
| S | NVIDIA H200 | H200 PCIe | 1 | 15 | 267 | 1024 |
| M | NVIDIA H200 | H200 PCIe | 2 | 30 | 534 | 1536 |
| L | NVIDIA H200 | H200 PCIe | 4 | 60 | 1068 | 2048 |
| XL | NVIDIA H200 | H200 PCIe | 8 | 127 | 2136 | 4096 |
Wie oben gezeigt, wachsen CPU und RAM proportional zur Anzahl der GPUs. Die stündlichen Template-Tarife betragen 3,0, 6,0, 12,0 und 24,0 EUR für S, M, L und XL. Das XL-Template organisiert seine acht GPUs als zwei Cluster zu je vier, die innerhalb jedes Clusters über NVLink verbunden sind. Adressieren Sie daher jedes Cluster separat, nicht als einen einzelnen 8-GPU-Pool.
2.2 Der Betriebsaufwand
Die Einschränkungen machen Self-Hosting zu einer bewussten Entscheidung:
- Kein SLA. Das Service Level Agreement gilt nicht für das Produkt Cloud GPU VM, unabhängig von Variante oder Konfiguration.
- Neustarts. Es gibt keine nahtlosen Hintergrundübertragungen während der Wartung. Daher erfordern einige Updates einen Herunterfahren- oder Neustartvorgang, und Notwartung kann mit wenig oder ohne Vorankündigung erfolgen. Dienste müssen beim Start automatisch neu gestartet werden.
- Feste Größe. Das Template wird bei der Bereitstellung festgelegt. CPU und RAM können danach nicht hoch- oder herunterskaliert werden.
- Platzierung. Cloud GPU VMs sind nur in Frankfurt (
de/fra/2) und Worcester (gb/bhx) verfügbar, wobei die Verfügbarkeitszone immer auf Auto festgelegt ist. Beim Start werden nur IONOS CLOUD Linux-Images unterstützt. - Quota. Standardmäßig kann ein Vertrag eine Cloud GPU VM mit dem S-Template bereitstellen. Größere Templates oder weitere Instanzen erfordern eine Erhöhung der Ressourcenlimits durch den Support.
Ein redundanter, selbst gehosteter Endpunkt benötigt daher mindestens zwei Instanzen, hinter einem von Ihnen selbst konzipierten Load Balancer, sowie die Quota-Anfrage und Ihren eigenen Model-Serving-Stack. Self-Hosting ist gerechtfertigt für ein Modell, das im Katalog nicht angeboten wird, für Fine-Tuning oder für konstanten, rund um die Uhr laufenden Inferenzbetrieb, bei dem ein fester Stundensatz vorhersehbar ist. Andernfalls ist verwaltetes Inferenz einfacher zu betreiben und wird mit einem SLA geliefert.
2.3 Dimensionierung für Inferenz versus Fine-Tuning
Dimensionieren Sie Inferenz anhand des Speicherbedarfs, den die Modellgewichte und die parallelen Anfragen auf der GPU erfordern, und wählen Sie das kleinste Template, das ausreicht, da das Template später nicht vergrößert werden kann. Fine-Tuning benötigt deutlich mehr GPU-Speicher als Inferenz für dasselbe Modell, da das Training auch Gradienten und Optimizer-Zustände speichert. Es handelt sich um einen Batch-Job, der daher während seiner Laufzeit auf einem größeren Template ausgeführt und anschließend gelöscht werden kann. AI Model Hub ist ein Inferenzdienst für seinen Katalog vortrainierter Modelle, während Fine-Tuning ein dokumentierter Anwendungsfall von Cloud GPU VMs ist. In diesem Design ist ein fein abgestimmtes Modell ein selbst gehostetes Modell.
3. Retrieval-Augmented Generation als Muster
RAG holt relevante Textpassagen aus Ihren Daten ab und fügt sie in den Prompt ein, sodass das Modell auf Basis Ihres Wissens antwortet, ohne dafür trainiert worden zu sein. In IONOS CLOUD setzen Sie es aus drei Diensten zusammen, die alle in deutschen Rechenzentren gehostet werden:
- Korpus in IONOS Cloud Object Storage. Die Quelldokumente verbleiben in einem versionierten Bucket, wie
fc-ai-corpus-fra, das als System of Record für das erneute Indizieren dient (Einheit 5.2). Die Embedding-API akzeptiert Klartext, daher ist die Textextraktion aus PDF- oder Word-Dateien Ihr Pipeline-Schritt. - Embeddings aus dem AI Model Hub. Jedes Textfragment wird an den OpenAI-kompatiblen Embedding-Endpunkt gesendet. Die dokumentierte Anleitung verwendet
BAAI/bge-m3mit 1024-dimensionaler Ausgabe. - Vektoren in DBaaS for PostgreSQL. Managed PostgreSQL enthält die
vector-Erweiterung (pgvector), die mitCREATE EXTENSION vector CASCADE;aktiviert wird. Ihr Vektordatentyp sowie die Zugriffsverfahrenivfflatundhnswverwandeln eine Standardtabelle in einen Vektorspeicher, der zusammen mit relationalen Daten verwaltet wird.
Bei der Abfragezeit embeddet der Worker die Frage, ruft die nächsten Fragmente mit SQL ab, sortiert sie optional mit einem Reranking-Modell bei POST /v1/rerank neu und sendet sie zusammen mit der Frage an POST /v1/chat/completions. Da das Embedding-Modell die Vektordimension festlegt, bedeutet ein Wechsel die erneute Embedding-Erstellung des Korpus; notieren Sie die Modell-ID neben jedem Vektor.
Das Design von FinCorp führt die Worker in fc-k8s-ai aus, nutzt einen PostgreSQL-Cluster fc-pg-rag im fc-ai-app-LAN für die Vektoren und das Korpus-Bucket in Frankfurt. Managed Inference ist die Standardoption; eine GPU-VM ist nicht geplant, bis ein Fine-Tuning-Bedarf entsteht.
Implementierungsanleitung für den DCD
Sie erstellen eine dedizierte Inferenzidentität, testen ein Modell im Playground und senden dieselbe Anfrage als OpenAI-kompatiblen Aufruf. Dies ist der verwaltete Standard aus Abschnitt 1.
Voraussetzungen: ein Vertrag mit freigeschalteter Vollversion; Administrator- oder Vertragsinhaberzugriff für die Gruppeneinrichtung.
Ziel: Ein Modell testen und einen funktionierenden OpenAI-kompatiblen Aufruf erstellen.
Schritte (im Data Center Designer):
- Öffnen Sie Management > Benutzer und Gruppen. Unter Gruppen wählen Sie + Erstellen, geben Sie den Gruppennamen
fc-ai-inferenceein und wählen Sie Erstellen. Wählen Sie die Gruppe aus und aktivieren Sie Zugriff auf AI Model Hub und Verwaltung. - Unter Benutzer wählen Sie + Erstellen und erstellen Sie
svc-fc-ai-inference. Im Bereich Gruppen wählen Sie + Zu Gruppe hinzufügen und wählen Siefc-ai-inference. - Melden Sie sich als
svc-fc-ai-inferencean, öffnen Sie Management > Token Manager, wählen Sie eine Gültigkeitsdauer (TTL) und wählen Sie Token generieren. Kopieren Sie das Token jetzt; es wird nicht erneut angezeigt. - Gehen Sie zu KI > AI Model Hub. Der Tab Modelle listet die verfügbaren Modelle mit ihren Preisen auf; notieren Sie die ID des Modells, das Sie testen möchten.
- Öffnen Sie den Tab Playground und testen Sie das Modell mit einem repräsentativen Prompt. Playground-Anfragen werden zu den Standardtarifen des Modells abgerechnet.
- Senden Sie von einem Pod in
fc-k8s-aidieselbe Anfrage an den Chat-Completions-Endpunkt, wobei das Token in der UmgebungsvariablenIONOS_API_TOKENenthalten ist.
curl -X POST https://openai.inference.de-txl.ionos.com/v1/chat/completions \
-H "Authorization: Bearer ${IONOS_API_TOKEN}" \
-H "Content-Type: application/json" \
-d '{"model": "<model-id>", "messages": [{"role": "user", "content": "Summarise the attached policy."}]}'
Der Aufruf verdeutlicht den architektonischen Aspekt aus Abschnitt 1.1: Die Anfrage ist in sich vollständig, ohne serverseitige Sitzung, und verlässt den Cluster über das NAT Gateway.
Häufige Fehler:
- Erzeugen des Inferenz-Tokens als Contract Owner. Verwenden Sie stattdessen einen dedizierten Benutzer in einer Gruppe, der nur das AI Model Hub-Privileg besitzt.
- Verlust des Tokens. Es wird nur einmal angezeigt; erzeugen Sie ein neues Token und aktualisieren Sie das Secret.
- Erwartung, dass der Service ein Gespräch merkt. Der Service ist zustandslos; senden Sie die vorherigen Gesprächsrunden erneut.
- Unbegrenzte Client-Retries. Jeder Retry wird abgerechnet, daher sollten Sie diese begrenzen und
Retry-Aftereinhalten. - Einhartcodierung einer Modell-ID ohne Eigentümer für ihr Rückzugsdatum.
- Platzierung einer Cloud GPU VM in einem VDC außerhalb von
de/fra/2odergb/bhx, oder Planung einer einzigen Instanz als Produktiv-Endpunkt ohne SLA.
Zusammenfassung
Gemanagte Inferenz auf AI Model Hub ist der Standard bei FinCorp: eine OpenAI-kompatible, zustandslose API, die in Deutschland verarbeitet wird, nach Token abgerechnet wird und für ihre Endpunkte eine SLA von 99,9 Prozent bietet. Der Self-Hosting-Betrieb auf Cloud GPU VMs ist eine bewusste Ausnahme für Fine-Tuning, fehlende Modelle oder konstante Last und bringt feste Vorlagen, Wartungsneustarts und keine SLA mit sich. Wissen gelangt über RAG zum Modell: Korpus in Object Storage, Embeddings aus dem Hub, Vektoren in PostgreSQL mit pgvector.
Wichtige Punkte:
- Die OpenAI-kompatible Basis-URL ist
https://openai.inference.de-txl.ionos.com/v1, mit Bearer-Token-Authentifizierung. - Die Standardgrenzen betragen 5 Anfragen pro Sekunde pro Modell mit einem Burst von 10, gemäß Vertrag; HTTP 429 bedeutet, dass zurückgefahren werden muss.
- Die SLA gilt nicht für Cloud GPU VMs; ihre Größe ist festgelegt und Wartung kann sie neu starten.
- AI Model Hub stellt seinen Katalog vortrainierter Modelle bereit; Fine-Tuning ist ein selbst gehosteter Job auf Cloud GPU VMs.
- RAG kombiniert Object Storage, AI Model Hub Embeddings und DBaaS für PostgreSQL mit der
vector-Erweiterung.