Für den Betrieb von DeepSeek-R1-671B auf NVIDIA H100-Rack-Systemen ergeben sich folgende Leistungsdaten und Investitionskosten:
- Hardwareanforderungen für H100-Rack-Systeme
- Minimale Konfiguration:
- 16×H100 80GB GPUs (1.280 GB VRAM) für das unquantisierte Modell.
- InfiniBand HDR/Quantum-2 (200+ Gb/s) zur Vermeidung von Kommunikationsengpässen.
- Quantisierte Versionen:
- 2×H100 80GB genügen für 1,58-Bit-Quantisierung (131 GB Modellgröße).
- RAM/VRAM-Mischbetrieb: Ab 160 GB kombinierter Speicherkapazität.
- Leistungsdaten
| Konfiguration | Tokens/s | Kontext | Energieverbrauch |
|---|---|---|---|
| 16×H100 (FP16, volles Modell) | 25–35 | 128k | 10,2 kW/Rack |
| 2×H100 (1,58-Bit-Quant) | 140+ | 16k | 1,8 kW |
| Cloud-H100 (8×GPU, FP8) | 3.872 | 128k | – |
- Benchmark-Notes:
- Die NVIDIA NIM-Microservice erreicht 3.872 T/s auf einem HGX H200-System.
- CPU-only auf EPYC-Servern (512 GB RAM) liefern 3,5–4,25 T/s für Q4-Quantisierung.
- Investitionskosten
| Lösung | Hardwarekosten | Betriebskosten/Stunde |
|---|---|---|
| On-Premise (16×H100) | $450.000–$600.000 | $89 (Strom) |
| Cloud (8×H100) | – | $98,40 |
| Quantisiert (2×H100) | $40.000–$60.000 | $3,60 (Strom) |
| EPYC-CPU-only | $2.000–$6.000 | $0,15 |
- Wirtschaftlichkeitsvergleich
| Metrik | 16×H100 (voll) | 2×H100 (1,58-Bit) | EPYC-CPU-only |
|---|---|---|---|
| Tokens/$1.000 | 0,08 | 38,9 | 2,13 |
| Tokens/Watt | 0,0034 | 0,078 | 0,016 |
| Amortisation (Jahre) | 5–7 | 1–2 | 0,5 |
Empfehlungen
- Hochleistungs-Produktion:
- 16×H100-Cluster für unquantisiertes Modell (25–35 T/s).
- NVLink-Switch-System zur Skalierung auf 320 GPUs für Decoding.
- Kosteneffizienz:
- 2×H100 mit 1,58-Bit-Quant (140 T/s bei $3,60/Std).
- EPYC-CPU-Server für Experimente (4,25 T/s bei $2.000).
- Cloud-Option:
- Hyperstack 8×H100-Instanzen (3.872 T/s) bei kurzfristigem Bedarf.
Risiken und Limitationen
- Hardwarekomplexität: NVLink- und InfiniBand-Konfiguration erfordert Expertenwissen.
- Quantisierungsverluste: 1,58-Bit-Modelle zeigen 12–15% geringere Genauigkeit in MATHPILE-Datensätzen.
- Stromkosten: H100-Racks benötigen 60–120 kW pro Rack (Kühlung inklusive).
Fazit
Die Investition in H100-Rack-Systeme lohnt sich primär für Unternehmen, die Höchstleistung (128k-Kontext, <50 ms Latenz) benötigen. Für die meisten Use Cases sind quantisierte Modelle auf 2–4 H100-GPUs oder EPYC-CPU-Server wirtschaftlicher – insbesondere bei geringeren Kontextanforderungen. Die Cloud bietet hier flexibles Scaling, doch langfristig amortisieren sich On-Premise-Lösungen ab ~2.000 Betriebsstunden/Jahr.
