İçeriğe geç
Cloud Provider Benchmarks

Benchmarklar · GPU ve AI

NVIDIA H200 bulut benchmarkları: büyük model ve uzun bağlam çıkarımı için 141 GB HBM3e

H200, H100’ün Hopper hesaplama gücünü korurken belleği 4,8 TB/s’de 141 GB HBM3e’ye yükseltir. Aynı Tensor verimiyle %76 daha fazla bellek ve %43 daha fazla bant genişliği, model boyutu, bağlam uzunluğu veya eşzamanlılığın hesaplamadan çok bellekle sınırlandığı durumlarda onu daha güçlü seçenek yapar.

Güncellendi:

Kısa yanıt

H200, 70B bir modeli tek GPU’da geniş bir KV bütçesiyle FP8’de taşır; 4,8 TB/s bant genişliği tek akış decode tavanını H100 SXM’ye göre yaklaşık %43 yükseltir. İzlenen sağlayıcılardan PortvMind Cloud, AWS, Azure, Google Cloud ve DigitalOcean tarafından sunulur.

Ne ölçülür

  • 1, 2, 4 ve 8 GPU’da çalıştırılabilir model × bağlam × eşzamanlılık senaryoları
  • Bellek bant genişliğinden tek akış decode tavanı
  • Sağlayıcı erişilebilirliği ve yayımlanmış GPU-saat liste fiyatları
  • Doğrulanmış vLLM sunum çalıştırmaları (yayımlandığında)

Genel bakış

H200, H100 SXM'in Hopper hesaplama birimini korur ancak bellek alt sistemini 4,8 TB/s sağlayan 141 GB HBM3e ile değiştirir. LLM çıkarımı için bu iki şeyi değiştirir: daha büyük modeller veya daha uzun bağlamlar tek GPU'ya sığar ve belleğe bağlı decode adımları bant genişliğiyle orantılı olarak hızlanır. Uzun prompt'ların prefill aşaması gibi hesaplamaya bağlı fazlar H100 SXM'e göre pek değişmez; çünkü tepe Tensor Core verimi aynıdır.

Uygun iş yükleri

  • 70B sınıfı modellerin KV önbelleğine yer bırakarak tek GPU'da FP8 ile servis edilmesi
  • Uzun bağlamlı (64K–128K) çıkarım ve yüksek eşzamanlılıklı servis
  • Belleğe bağlı üretken AI ve HPC iş yükleri
  • GPU başına daha büyük batch veya aktivasyon belleğinden yararlanan eğitim işleri

Dikkat edilecekler

  • Tepe FP8/BF16 Tensor Core verimi H100 SXM ile aynıdır; kazanım bellek kapasitesi ve bant genişliğinden gelir
  • H200 NVL (PCIe), H200 SXM'e göre daha düşük güç ve hesaplama tavanına sahiptir

Spesifikasyonlar

GPU spesifikasyonları (NVIDIA veri sayfaları)
GPU Mimari Bellek (GB) Bellek tipi Bant gen. (GB/s) FP8 (TFLOPS) BF16 (TFLOPS) FP32 (TFLOPS) Bağlantı TDP MIG
H200 SXM SXM5 Hopper 141 HBM3e 4.800 1.979 989 67 NVLink 4 900 GB/s Up to 700 W Up to 7 MIGs @ 18 GB
H200 NVL PCIe dual-slot Hopper 141 HBM3e 4.800 1.670 835 60 NVLink bridge (2- or 4-way) 900 GB/s Up to 600 W Up to 7 MIGs @ 16.5 GB

Tensor değerleri yoğun (seyrek olmayan) tepe değerleridir; NVIDIA seyrekli değerleri bunun iki katı olarak yayımlar.

NVIDIA H200 sunan sağlayıcılar

Sağlayıcılara göre GPU erişilebilirliği ve yayımlanmış GPU-saat fiyatları
Sağlayıcı NVIDIA H200 Türkiye altyapısı
PortvMind Cloud Genel kullanımda GPU / AI Compute (H200 option) Mevcut GPU seçeneği olarak listelenir; konfigürasyon ve fiyatlar kamuya açık hesaplayıcı tablosunda yer almaz, konsol veya satış ekibi üzerinden sunulur. Var
Amazon Web Services Genel kullanımda EC2 P5e / P5en 8 GPU'lu sunucular; erişilebilirlik bölgeye göre değişir. Var
Microsoft Azure Genel kullanımda ND H200 v5 VM başına sekiz H200 GPU. Yok
Google Cloud Genel kullanımda A3 Ultra VM başına 8 H200 GPU; zone erişilebilirliği değişir. Duyuruldu
DigitalOcean Genel kullanımda GPU Droplet — NVIDIA HGX H200 $4,470 / GPU-h 1× veya 8× H200 141 GB; 1× planda 24 vCPU ve 240 GiB RAM. Yok
Vultr Doğrulanmadı Not listed on the public pricing page Son inceleme tarihinde H200 Vultr fiyat sayfasında listelenmiyordu. Yok

Decode tavanı (teorik)

Bellek bant genişliğinden türetilmiş tek akış üst sınırı. Ölçüm değildir.

Tek akışlı decode için bellek bant genişliği tavanı (FP8, tok/s) Teorik üst sınır — ölçüm değil
Model H200 SXM
Llama 3.1 8B Instruct 598
Llama 3.3 70B Instruct 68
Qwen2.5 7B Instruct 631
Qwen3 32B 146
Qwen3 30B-A3B 1.455
Qwen2.5 72B Instruct 66
DeepSeek-R1-Distill-Qwen-32B 146
DeepSeek-V3 1.038 8× TP
MiniMax-M1-80k 418 4× TP

Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.

Tek akışlı decode için bellek bant genişliği tavanı (BF16, tok/s) Teorik üst sınır — ölçüm değil
Model H200 SXM
Llama 3.1 8B Instruct 299
Llama 3.3 70B Instruct 68 2× TP
Qwen2.5 7B Instruct 315
Qwen3 32B 73
Qwen3 30B-A3B 727
Qwen2.5 72B Instruct 66 2× TP
DeepSeek-R1-Distill-Qwen-32B 73
DeepSeek-V3 sığmaz
MiniMax-M1-80k 418 8× TP

Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.

Çalıştırılabilir senaryolar

Tek GPU’da hangi bağlam ve eşzamanlılık kombinasyonları belleğe sığar.

Llama 3.1 8B Instruct · BF16 · 1× H200 SXM Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 103.8 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ ✓ ✓ ✓ ✓ — 96
16K ✓ ✓ ✓ ✓ — — 48
32K ✓ ✓ ✓ — — — 24
64K ✓ ✓ ✓ — — — 12
128K ✓ ✓ — — — — 6

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Qwen3 32B · FP8 · 1× H200 SXM Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 87.0 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ ✓ ✓ ✓ — — 40
16K ✓ ✓ ✓ — — — 20
32K ✓ ✓ ✓ — — — 10
64K ✓ ✓ — — — — 5
128K ✓ — — — — — 2

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Llama 3.3 70B Instruct · FP8 · 1× H200 SXM Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 49.3 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ ✓ ✓ — — — 18
16K ✓ ✓ — — — — 9
32K ✓ — — — — — 4
64K ✓ — — — — — 2
128K ✓ — — — — — 1

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Doğrulanmış sonuçlar