Benchmarklar · GPU ve AI
NVIDIA H100 bulut benchmarkları: LLM çıkarım kapasitesi, erişilebilirlik ve fiyat
H100 (Hopper), LLM sunumu için referans veri merkezi GPU’sudur. SXM varyantı 80 GB HBM3’ü 3,35 TB/s bant genişliği ve NVLink ile birleştirir; PCIe ve NVL varyantları standart sunucular için bant genişliği ve güçten ödün verir. Bu sayfa, bir veya daha fazla H100 üzerinde hangi model ve bağlam kombinasyonlarının çalıştırılabildiğini ve hangi sağlayıcıların bunu sunduğunu gösterir.
Güncellendi:
Kısa yanıt
Tek bir 80 GB H100, 8B–32B modelleri BF16 veya FP8’de uzun bağlamlar için yer bırakarak taşır; 70B sınıfı modeller tek GPU’da sınırlı KV önbelleğiyle FP8 ya da yüksek eşzamanlılık için iki GPU gerektirir. İzlenen sağlayıcılardan PortvMind Cloud (Türkiye), AWS, Azure, Google Cloud, DigitalOcean ve Vultr H100 sunar; Hetzner sunmaz.
Ne ölçülür
- 1, 2, 4 ve 8 GPU’da çalıştırılabilir model × bağlam × eşzamanlılık senaryoları
- Bellek bant genişliğinden tek akış decode tavanı
- Sağlayıcı erişilebilirliği ve yayımlanmış GPU-saat liste fiyatları
- Doğrulanmış vLLM sunum çalıştırmaları (yayımlandığında)
Genel bakış
H100, dördüncü nesil Tensor Core'ları ve FP8 hassasiyetli Transformer Engine'i getirdi. SXM5 varyantı 3,35 TB/s hızında 80 GB HBM3 ile 900 GB/s NVLink'i birleştirirken PCIe varyantı 2,0 TB/s hızında 80 GB HBM2e kullanır. H100 NVL belleği 94 GB'a çıkarır. Bulut sağlayıcıları çoğunlukla SXM (HGX 8 GPU kartlarında) veya PCIe/NVL kartlar sunar; bu nedenle bir sunucunun arkasındaki varyant bellek bant genişliğini ve çoklu GPU ölçeklenmesini belirler.
Uygun iş yükleri
- BF16 ve FP8 ile LLM ön eğitimi ve fine-tuning
- FP8'de GPU başına ~70B parametreye kadar modeller için yüksek verimli LLM çıkarımı
- NVLink (SXM) üzerinden çoklu GPU tensor-parallel servis
- FP64 Tensor Core desteğiyle HPC
Dikkat edilecekler
- 80 GB, KV önbelleği ayrıldığında tek GPU BF16 servisini kabaca 30B parametreli yoğun modellerle sınırlar
- SXM ve PCIe varyantları bellek bant genişliğinde ~1,7× farklıdır; bu fark decode hızını belirler
- En fazla yedi örneğe MIG bölümlemesini destekler
Spesifikasyonlar
| GPU | Mimari | Bellek (GB) | Bellek tipi | Bant gen. (GB/s) | FP8 (TFLOPS) | BF16 (TFLOPS) | FP32 (TFLOPS) | Bağlantı | TDP | MIG |
|---|---|---|---|---|---|---|---|---|---|---|
| H100 SXM5 SXM5 | Hopper | 80 | HBM3 | 3.350 | 1.979 | 989 | 67 | NVLink 4 900 GB/s | Up to 700 W | Up to 7 MIGs @ 10 GB |
| H100 PCIe PCIe dual-slot | Hopper | 80 | HBM2e | 2.000 | 1.513 | 756 | 51 | NVLink bridge (2-way) 600 GB/s | 300–350 W | Up to 7 MIGs @ 10 GB |
| H100 NVL PCIe dual-slot | Hopper | 94 | HBM3 | 3.900 | 1.670 | 835 | 60 | NVLink bridge (2-way) 600 GB/s | 350–400 W | Up to 7 MIGs @ 12 GB |
Tensor değerleri yoğun (seyrek olmayan) tepe değerleridir; NVIDIA seyrekli değerleri bunun iki katı olarak yayımlar.
NVIDIA H100 sunan sağlayıcılar
| Sağlayıcı | NVIDIA H100 | Türkiye altyapısı |
|---|---|---|
| PortvMind Cloud | Genel kullanımda gpu.h100s / gpu.h100m profiles ₺195,835 / GPU-h Sunucu başına 1, 2, 3 veya 4 GPU; GPU başına 80 GB (81.920 MB) VRAM; GPU başına 26 vCPU ve 496 GB RAM; yerel disk dahil. | Var |
| Amazon Web Services | Genel kullanımda EC2 P5 Tek GPU'lu p5.4xlarge ve 8 GPU'lu p5.48xlarge boyutları; erişilebilirlik bölgeye göre değişir. | Var |
| Microsoft Azure | Genel kullanımda NC H100 v5 / ND H100 v5 Bir veya iki H100 NVL GPU'lu NC H100 v5; sekiz H100 GPU'lu ND H100 v5. | Yok |
| Google Cloud | Genel kullanımda A3 High / A3 Mega VM başına 8'e kadar H100 GPU; zone erişilebilirliği değişir. | Duyuruldu |
| DigitalOcean | Genel kullanımda GPU Droplet — NVIDIA HGX H100 $4,410 / GPU-h 1× veya 8× H100 80 GB; 1× planda 20 vCPU ve 240 GiB RAM. | Yok |
| Vultr | Genel kullanımda Cloud GPU — NVIDIA HGX H100 $2,300 / GPU-h 8× H100 80 GB SXM (640 GB GPU RAM, 216 vCPU, 1.914 GB RAM). | Yok |
Decode tavanı (teorik)
Bellek bant genişliğinden türetilmiş tek akış üst sınırı. Ölçüm değildir.
| Model | H100 SXM5 |
|---|---|
| Llama 3.1 8B Instruct | 417 |
| Llama 3.3 70B Instruct | 95 2× TP |
| Qwen2.5 7B Instruct | 440 |
| Qwen3 32B | 102 |
| Qwen3 30B-A3B | 1.015 |
| Qwen2.5 72B Instruct | 92 2× TP |
| DeepSeek-R1-Distill-Qwen-32B | 102 |
| DeepSeek-V3 | sığmaz |
| MiniMax-M1-80k | 584 8× TP |
Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.
| Model | H100 SXM5 |
|---|---|
| Llama 3.1 8B Instruct | 209 |
| Llama 3.3 70B Instruct | 95 4× TP |
| Qwen2.5 7B Instruct | 220 |
| Qwen3 32B | 102 2× TP |
| Qwen3 30B-A3B | 508 |
| Qwen2.5 72B Instruct | 92 4× TP |
| DeepSeek-R1-Distill-Qwen-32B | 102 2× TP |
| DeepSeek-V3 | sığmaz |
| MiniMax-M1-80k | sığmaz |
Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.
Çalıştırılabilir senaryolar
Tek GPU’da hangi bağlam ve eşzamanlılık kombinasyonları belleğe sığar.
| Bağlam | 1 | 5 | 10 | 25 | 50 | 100 | Maks. eşz. |
|---|---|---|---|---|---|---|---|
| 8K | ✓ | ✓ | ✓ | ✓ | — | — | 48 |
| 16K | ✓ | ✓ | ✓ | — | — | — | 24 |
| 32K | ✓ | ✓ | ✓ | — | — | — | 12 |
| 64K | ✓ | ✓ | — | — | — | — | 6 |
| 128K | ✓ | — | — | — | — | — | 3 |
✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.
| Bağlam | 1 | 5 | 10 | 25 | 50 | 100 | Maks. eşz. |
|---|---|---|---|---|---|---|---|
| 8K | ✓ | ✓ | ✓ | — | — | — | 16 |
| 16K | ✓ | ✓ | — | — | — | — | 8 |
| 32K | ✓ | — | — | — | — | — | 4 |
| 64K | ✓ | — | — | — | — | — | 2 |
| 128K | ✓ | — | — | — | — | — | 1 |
✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.
| Bağlam | 1 | 5 | 10 | 25 | 50 | 100 | Maks. eşz. |
|---|---|---|---|---|---|---|---|
| 8K | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | 0 |
| 16K | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | 0 |
| 32K | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | 0 |
| 64K | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | 0 |
| 128K | ✕ | ✕ | ✕ | ✕ | ✕ | ✕ | 0 |
✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.
Doğrulanmış sonuçlar
İlgili araştırmalar
GPU ve AI altyapısı
LLM çıkarımı için en iyi GPU: H100, H200 ve L40S'yi model boyutuna göre eşleştirme
Model boyutu, hassasiyet, bağlam uzunluğu ve eşzamanlılığa göre LLM çıkarımı için hangi GPU kullanılmalı — Qwen, Llama, DeepSeek ve MiniMax için boyutlandırma rehberi.
GPU ve AI altyapısı
LLM çıkarımı için NVIDIA H100 ve H200: bellek, bant genişliği ve yükseltmenin anlamlı olduğu durumlar
H100 ve H200; teknik özellikler, model sığması, KV önbellek kapasitesi ve Llama, Qwen, DeepSeek çıkarımı için decode bant genişliği tavanlarıyla karşılaştırıldı.
GPU ve AI altyapısı
NVIDIA H100 ve L40S: çıkarım iş yükünüze hangi GPU uyar?
H100 ve L40S; bellek, bant genişliği, FP8 hesaplama ve model sığması açısından türetilmiş decode tavanları ve GPU-saat başına bulut fiyatlarıyla karşılaştırıldı.
GPU ve AI altyapısı
Çok kullanıcılı LLM çıkarımı: eşzamanlılık, bağlam ve KV önbellek bir GPU'yu nasıl sınırlar
Bir GPU kaç eşzamanlı kullanıcıya hizmet verebilir: bağlam uzunluğuna göre KV önbellek kapasitesi, gecikmenin yükle neden arttığı ve eşzamanlılığın doğru benchmarkı.