Der wachsenden Nachfrage nach flexiblen und gleichzeitig leistungsstarken Rechenressourcen hat NVIDIA mit der Multi‑Instance GPU (MIG)‑Technologie ein mächtiges Werkzeug an die Hand gegeben, das es ermöglicht, eine einzelne physische GPU in mehrere unabhängige Instanzen zu partitionieren.
Jede Instanz verfügt über eigene Compute‑, Speicher‑ und Bandbreiten‑Reserven, sodass unterschiedliche Workloads – von KI‑Inferenz über Datenbank‑Beschleunigung bis hin zu klassischen HPC‑Aufgaben, gleichzeitig und ohne gegenseitige Beeinträchtigung laufen können. Hierfür muss man NVIDIA MIG aktivieren.
In diesem Beitrag zeigen wir dir schrittweise, wie du MIG auf unterstützten NVIDIA‑GPUs aktivierst, konfigurierst und verwaltest. Wir gehen dabei auf die erforderlichen Treiber‑ und Software‑Voraussetzungen ein, erklären die Nutzung von nvidia-smi und dem NVIDIA GPU‑Toolkit, und geben praktische Tipps, wie du das optimale Ressourcen‑Layout für deine spezifischen Anwendungsfälle findest.
Egal, ob du in einer Cloud‑Umgebung, in einem On‑Premise‑Rechenzentrum oder auf einem einzelnen Workstation‑Server arbeitest, mit dieser Anleitung kannst du das volle Potenzial deiner GPU‑Hardware sofort ausschöpfen.
NVIDIA MIG auf Ubuntu 24.04 Server aktivieren und konfigurieren
In unserem Beispiel steht eine NVIDIA RTX PRO 6000 Blackwell Server Edition zur Verfügung, die wir auch in der NETWAYS Cloud anbieten. Die Vorgehensweise ist jedoch bei allen MIG-fähigen NVIDIA-GPUs nahezu identisch. Ziel ist es, die GPU in mehrere unabhängige Instanzen zu unterteilen, die sich wie separate Mini-GPUs verhalten – mit eigenem Speicher und eigenen Compute-Ressourcen.
NVIDIA-Treiber installieren
Bevor MIG genutzt werden kann, muss ein aktueller NVIDIA-Treiber installiert werden. Unter Ubuntu 24.04 funktioniert dies sehr einfach über das Paket nvidia-driver-580-open. Die Open-Variante eignet sich optimal für Serverumgebungen und moderne CUDA-Versionen.
sudo apt install nvidia-driver-580-open --no-install-recommendsNachdem der Befehl erfolgreich ausgeführt ist, können wir uns die verfügbare GPU mit nvidia-smi anzeigen lassen. (Gegebenenfalls ist ein Neustart des Servers erforderlich)
GPU-Status überprüfen
~$ sudo nvidia-smi -i 0
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.95.05 Driver Version: 580.95.05 CUDA Version: 13.0 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA RTX PRO 6000 Blac... Off | 00000000:06:00.0 Off | 0 |
| N/A 33C P0 92W / 600W | 0MiB / 97887MiB | 1% Default |
| | | Disabled |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+Das ist die ideale Grundlage, um sicherzustellen, dass die Hardware fehlerfrei initialisiert wurde.
NVIDIA Multi-Instance-GPU (MIG) Modus aktivieren
Bevor Instanzen erzeugt werden können, muss der MIG-Modus pro GPU aktiviert werden. Dieser Vorgang ist reversibel und beeinflusst den Betrieb nicht, solange keine Instanzen aktiv sind. Nach der Aktivierung ist die GPU bereit für die Partitionierung.
~$ sudo nvidia-smi -i 0 -mig 1
Enabled MIG Mode for GPU 00000000:06:00.0
All done.Verfügbare MIG Profile anzeigen
Jede NVIDIA-GPU bietet unterschiedliche MIG-Profile, die verschiedene Ressourcen-Layouts repräsentieren. Diese reichen von kleinen 1g-Profilen bis zu größeren 4g- oder 7g-Konfigurationen.
~$ nvidia-smi mig -lgip
+-------------------------------------------------------------------------------+
| GPU instance profiles: |
| GPU Name ID Instances Memory P2P SM DEC ENC |
| Free/Total GiB CE JPEG OFA |
|===============================================================================|
| 0 MIG 1g.24gb 14 4/4 23.62 No 46 1 1 |
| 1 1 0 |
+-------------------------------------------------------------------------------+
| 0 MIG 1g.24gb+me 21 1/1 23.62 No 46 1 1 |
| 1 1 1 |
+-------------------------------------------------------------------------------+
| 0 MIG 1g.24gb+gfx 47 4/4 23.62 No 46 1 1 |
| 1 1 0 |
+-------------------------------------------------------------------------------+
| 0 MIG 1g.24gb+me.all 65 1/1 23.62 No 46 4 4 |
| 1 4 1 |
+-------------------------------------------------------------------------------+
| 0 MIG 1g.24gb-me 67 4/4 23.62 No 46 0 0 |
| 1 0 0 |
+-------------------------------------------------------------------------------+
| 0 MIG 2g.48gb 5 2/2 47.38 No 94 2 2 |
| 2 2 0 |
+-------------------------------------------------------------------------------+
| 0 MIG 2g.48gb+gfx 35 2/2 47.38 No 94 2 2 |
| 2 2 0 |
+-------------------------------------------------------------------------------+
| 0 MIG 2g.48gb+me.all 64 1/1 47.38 No 94 4 4 |
| 2 4 1 |
+-------------------------------------------------------------------------------+
| 0 MIG 2g.48gb-me 66 2/2 47.38 No 94 0 0 |
| 2 0 0 |
+-------------------------------------------------------------------------------+
| 0 MIG 4g.96gb 0 1/1 95.00 No 188 4 4 |
| 4 4 1 |
+-------------------------------------------------------------------------------+
| 0 MIG 4g.96gb+gfx 32 1/1 95.00 No 188 4 4 |
| 4 4 1 |
+-------------------------------------------------------------------------------+GPU in mehrere Partitionen aufteilen
Mit dem Parameter -cgi wird definiert, welche Instanztypen erzeugt werden sollen. Im Beispiel werden zwei 2g.48gb Instanzen erstellt, perfekt, um z. B. zwei voneinander isolierte KI-Inferenz-Dienste parallel zu betreiben.
Die -C Flag sorgt dafür, dass zusätzlich zu den GPU-Instanzen auch passende Compute-Instanzen erzeugt werden. Diese sind notwendig, damit Anwendungen die MIG-Instanz überhaupt nutzen können:
sudo nvidia-smi mig -cgi 2g.48gb,2g.48gb -Coder mit der zuvor ermittelten ID:
sudo nvidia-smi mig -cgi 5,5 -CDieser Schritt ist der Kern der MIG-Konfiguration: Ab diesem Moment verhält sich die physische GPU wie mehrere logische GPUs.
MIG-Instanzen identifizieren
Mit nvidia-smi -L lassen sich die erzeugten Instanzen inklusive ihrer UUIDs anzeigen. Diese eindeutigen Bezeichner werden später z. B. für Container-Runtime-Konfigurationen, Zuordnungen in Kubernetes oder Monitoring-Tools benutzt.
Jede Instanz ist vollständig isoliert und kann exklusiv einer Anwendung oder einem Container zugewiesen werden.
~$ nvidia-smi -L
GPU 0: NVIDIA RTX PRO 6000 Blackwell Server Edition (UUID: GPU-ad2e909a-16c4-5867-7e0f-c68d696dc0fa)
MIG 2g.48gb Device 0: (UUID: MIG-af414487-fcaa-5f42-b210-6f614c9cf780)
MIG 2g.48gb Device 1: (UUID: MIG-fcf3ca68-f772-5d84-9d6b-a0e1bcabf88b
GPU Partitionen entfernen
Falls Layouts geändert werden sollen oder die GPU für andere Workloads benötigt wird, können Compute-Instanzen und GPU-Instanzen einfach gelöscht werden. Danach können neue Profile oder Kombinationen erstellt werden.
Das macht MIG extrem flexibel: Workloads können innerhalb von Sekunden an neue Anforderungen angepasst werden.
sudo nvidia-smi mig -dci
sudo nvidia-smi mig -dgiMIG in Kubernetes nutzen
In Kubernetes ist der Workflow etwas komplexer, aber dafür besonders mächtig. Um zu starten wird der NVIDIA GPU-Operator benötigt.
NVIDIA GPU-Operator konfigurieren
Der NVIDIA GPU-Operator automatisiert Treiberinstallation, Geräteerkennung, Plugin-Management und MIG-Konfiguration im Cluster.
Durch Hinzufügen des Helm-Repositorys wird die Installation auf Knopfdruck möglich.
helm repo add nvidia https://nvidia.github.io/gpu-operator
helm repo updateErstelle anschließend eine values.yaml, die folgende Dinge steuert:
- ob Node Feature Discovery aktiviert wird
- wie der MIG-Strategiemodus aussieht
- ob ein MIG-Manager aktiv Instanzen konfigurieren soll
- eventuelle Tolerations, damit Pods korrekt geplant werden
Diese Datei ist sozusagen die „Steuerzentrale“ dafür, wie MIG im Cluster funktionieren soll.
---
nfd:
enabled: true # Activates Node Feature Discovery for automatic labeling of GPU-enabled nodes.
driver:
enabled: false # Deactives automatic driver installation in case a driver is already present
# on the node.
mig:
strategy: mixed # MIG strategy 'mixed' allows side-by-side configuration of MIG and non-MIG
# workloads in the cluster.
migManager:
enabled: true # Activates the MIG manager which is in charge of partitioning and configuring
# MIG devices.
config: # Reference to a user-defined MIG ConfigMap.
name: nvidia-mig-config # Name of the MIG ConfigMap.
# Optional: Tolerations for DaemonSets to (dis-)allow Pods on specific Nodes.
daemonsets:
tolerations:
- key: "dedicated"
operator: "Equal"
effect: "NoSchedule"
value: "SomeValue"
node-feature-discovery:
worker:
tolerations:
- key: "dedicated"
operator: "Equal"
effect: "NoSchedule"
value: "SomeValue" Erstelle eine ConfigMap, um ein benutzerdefiniertes Layout vorzugeben, z. B. 1× 2g.48gb + 2× 1g.24gb.
Damit kann jeder Node exakt nach diesem Muster partitioniert werden, was extrem hilfreich ist, wenn mehrere Nodes identisch konfiguriert werden sollen oder wenn bestimmte Workloads feste Ressourcen benötigen.
apiVersion: v1
kind: ConfigMap
metadata:
name: nvidia-mig-config
namespace: gpu-operator
data:
config.yaml: |
version: v1
mig-configs:
# RTX PRO 6000 Blackwell SE 96GB
2g.48gb-2x1g.24gb:
- devices: all
mig-enabled: true
mig-devices:
"2g.48gb": 1
"1g.24gb": 2Spiele die ConfigMap in das Kubernetes-Cluster ein:
kubectl apply -f nvidia-mig-config.yamlGPU-Operator installieren
Nach Anwendung der ConfigMap wird der GPU-Operator installiert. Dieser erkennt automatisch die GPU-fähigen Nodes und teilt sie gemäß der hinterlegten Konfiguration auf. Der gesamte Prozess läuft automatisiert ab.
helm install gpu-operator nvidia/gpu-operator --create-namespace\
-n gpu-operator \
-f values.yamlGPU-Node im Cluster labeln
Um Kubernetes mitzuteilen, welcher Node das definierte MIG-Layout erhalten soll, muss er gelabelt werden.
Dieses Label entscheidet darüber, welche Instanzen erzeugt werden – eine einfache, aber sehr präzise Steuerung.
Der Wert des Labels muss hierbei dem Namen einer definierten MIG-Konfiguration aus der zuvor erstellten ConfigMap entsprechen:
kubectl label nodes $GPU_NODE nvidia.com/mig.config=2g.48gb-2x1g.24gb --overwriteDer Operator kümmert sich dann darum, NVIDIA MIG auf den gelabelten Clusternodes zu aktivieren.
Fazit – NVIDIA MIG aktivieren und das Maximum aus deiner GPU herausholen
Mit der MIG-Technologie von NVIDIA lässt sich das Potenzial einer einzelnen Server‑GPU erheblich steigern: Durch das Aufteilen in unabhängige Mini‑GPUs können unterschiedliche Workloads – von KI‑Inferenz über Datenbank‑Beschleunigung bis hin zu klassischen HPC‑Aufgaben – gleichzeitig laufen, ohne sich gegenseitig zu behindern. Der eigentliche Aufwand beschränkt sich dabei auf das Installieren des aktuellen Treibers, das Aktivieren des MIG‑Modus über nvidia-smi und das Anlegen der gewünschten Instanzen.
Einmal eingerichtet, lässt sich das Layout sowohl auf einzelnen Servern als auch in Kubernetes‑Clustern automatisiert verwalten, was zu einer besseren Ressourcenauslastung und geringeren Kosten führt. Möchtest du also die volle Leistung deiner NVIDIA‑GPU ausschöpfen, solltest du noch heute NVIDIA MIG aktivieren und das flexible Partitionierungskonzept in den täglichen Betrieb integrieren.
Hast du gerade keine kompatiblen GPUs zur Hand? Kein Problem. In der NETWAYS Cloud und in NETWAYS Managed Kubernetes® bieten wir entsprechende NVIDIA GPus an – inklusive Hilfe bei Aufsetzen und Einrichten durch unsere MyEngineer®.
0 Kommentare