İçeriğe geç
Cloud Provider Benchmarks

GPU ve AI altyapısı

NVIDIA H200 ve L40S: kapasite, bant genişliği ve çıkarım maliyeti dengeleri

LLM çıkarımı için H200 ve L40S: 141 GB HBM3e ile 48 GB GDDR6, decode tavanları, 7B'den 72B'ye model sığması ve yayımlanmış bulut fiyatları karşılaştırıldı.

Yayımlandı: Güncellendi: Read in English

Kısa yanıt

32B–72B modeller, uzun bağlamlar veya tek GPU'da yüksek eşzamanlılık için H200'ü seçin. Yaklaşık 14B parametreye kadar modeller, görüntü ve video üretimi veya en düşük saatlik fiyatın öncelikli olduğu ve verim ihtiyacının mütevazı kaldığı durumlar için L40S'i seçin.

Yönetici özeti

H200 ve L40S, NVIDIA veri merkezi ürün yelpazesinin zıt uçlarında yer alır. H200, 4,8 TB/s hızında 141 GB HBM3e belleğe sahiptir — L40S'in 864 GB/s hızındaki 48 GB GDDR6 belleğinin yaklaşık 2,9× belleği ve 5,6× bant genişliği. FP8 ile 70B model tek H200'e sığar ancak en az iki L40S kartı gerektirir. L40S küçük modeller ve görsel iş yükleri için daha düşük maliyetli seçenektir; H200 ise büyük modeller ve uzun bağlamlar için tasarlanmıştır.

Temel bulgular

  1. 01 Bant genişliği yaklaşık 5,6× farklıdır (4.800 ve 864 GB/s); bu, düşük batch boyutlarında token üretim hızını belirleyen baskın etkendir.
  2. 02 FP8 ile Llama 3.3 70B, yaklaşık 49 GB KV bütçesiyle tek H200'e sığar; L40S'te ise iki kart gerektirir ve toplamda yaklaşık 11 GB KV bütçesi bırakır.
  3. 03 FP8 ile 8B model için tek H200, KV önbellekte yaklaşık 104 eşzamanlı 8K token'lık dizi barındırırken tek L40S yaklaşık 30 dizi barındırır.
  4. 04 L40S'te NVLink yoktur; bu nedenle tek kartın ötesine ölçekleme PCIe bant genişliğine dayanır.

Teknik özellikler

GPU spesifikasyonları (NVIDIA veri sayfaları)
GPU Mimari Bellek (GB) Bellek tipi Bant gen. (GB/s) FP8 (TFLOPS) BF16 (TFLOPS) FP32 (TFLOPS) Bağlantı TDP MIG
H200 SXM SXM5 Hopper 141 HBM3e 4.800 1.979 989 67 NVLink 4 900 GB/s Up to 700 W Up to 7 MIGs @ 18 GB
L40S PCIe dual-slot Ada Lovelace 48 GDDR6 (ECC) 864 733 362 91,6 PCIe only 350 W Not supported

Tensor değerleri yoğun (seyrek olmayan) tepe değerleridir; NVIDIA seyrekli değerleri bunun iki katı olarak yayımlar.

Özellik H200 SXM L40S Oran
Bellek 141 GB HBM3e 48 GB GDDR6 2,94×
Bant genişliği 4.800 GB/s 864 GB/s 5,56×
FP8 yoğun TFLOPS 1.979 733 2,70×
Çoklu GPU bağlantısı NVLink 900 GB/s PCIe Gen4 —

Boyutlara göre model sığması

Model bellek gereksinimleri ve minimum GPU sayısı (FP8 ağırlıklar)
Model Parametre (B) BF16 (GB) FP8 (GB) INT4 (GB) KV / token (KiB) KV @32K (GB) Min. H200 SXMMin. L40S
Llama 3.1 8B Instruct Yoğun · GQA 8 16 8 4 128 4,3 1×1×
Llama 3.3 70B Instruct Yoğun · GQA 70,6 141 71 35 320 10,7 1×2×
Qwen2.5 7B Instruct Yoğun · GQA 7,6 15 8 4 56 1,9 1×1×
Qwen3 32B Yoğun · GQA 32,8 66 33 16 256 8,6 1×1×
Qwen3 30B-A3B MoE · 3,3B aktif · GQA 30,5 61 31 15 96 3,2 1×1×
Qwen2.5 72B Instruct Yoğun · GQA 72,7 145 73 36 320 10,7 1×2×
DeepSeek-R1-Distill-Qwen-32B Yoğun · GQA 32,8 66 33 16 256 8,6 1×1×
DeepSeek-V3 MoE · 37B aktif · MLA 671 1.342 671 336 69 2,3 8×>8
MiniMax-M1-80k MoE · 45,9B aktif · HYBRID-LINEAR 456 912 456 228 — — 4×>8

Ağırlık boyutu = parametre × hassasiyet baytı. KV = 2 × katman × KV başlığı × başlık boyutu × 2 bayt (MLA için latent boyutu). Minimum GPU: %85 kullanılabilir bellek ve GPU başına en az 4 GB KV payı. Ölçüm değil, kapasite modelidir.

Tablo farkı açıkça gösterir: yaklaşık 14B parametreye kadar modeller her iki GPU’da da rahatça çalışır, 30B sınıfı modeller L40S’te sıkışıktır ve 70B sınıfı modeller tek GPU’dan iki veya daha fazla GPU’ya geçer.

Tek GPU ve birden fazla GPU

Llama 3.3 70B Instruct · FP8 · 1× H200 SXM Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 49.3 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ ✓ ✓ — — — 18
16K ✓ ✓ — — — — 9
32K ✓ — — — — — 4
64K ✓ — — — — — 2
128K ✓ — — — — — 1

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Llama 3.3 70B Instruct · FP8 · 2× L40S Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 11.0 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ — — — — — 4
16K ✓ — — — — — 2
32K ✓ — — — — — 1
64K — — — — — — 0
128K — — — — — — 0

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

İki L40S kartı 70B FP8 ağırlıklarını barındırır; ancak her ikisinde toplam yalnızca yaklaşık 11 GB KV bütçesiyle uzun bağlamlar uygulanabilir değildir ve eşzamanlılık sınırlıdır. Dört kart tabloyu değiştirir, ancak her katmanda PCIe iletişimi ekler.

Decode tavanları

Tek akışlı decode için bellek bant genişliği tavanı (FP8, tok/s) Teorik üst sınır — ölçüm değil
Model H200 SXML40S
Llama 3.1 8B Instruct 598 108
Llama 3.3 70B Instruct 68 24 2× TP
Qwen2.5 7B Instruct 631 114
Qwen3 32B 146 26
Qwen3 30B-A3B 1.455 262
Qwen2.5 72B Instruct 66 24 2× TP
DeepSeek-R1-Distill-Qwen-32B 146 26
DeepSeek-V3 1.038 8× TP sığmaz

Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.

Fiyatlar

Yayımlanmış GPU-saat liste fiyatları
Sağlayıcı GPU GPU-saat GB-saat Esas
DigitalOcean NVIDIA H200 $4,470 $0,0317 İsteğe bağlı, 1× H200 GPU Droplet. · 6 Kasım 2026
DigitalOcean NVIDIA L40S $1,570 $0,0327 İsteğe bağlı, 1× L40S GPU Droplet. · 6 Kasım 2026
Vultr NVIDIA L40S $1,671 $0,0348 İsteğe bağlı GPU başı fiyat, 1× L40S. · 6 Kasım 2026

Bir sağlayıcı GPU’yu listeleyip saatlik fiyat yayımlamıyorsa bu tabloda yer almaz. Erişilebilirlik ayrı olarak GPU erişilebilirliği sayfasında gösterilir.

Metodoloji

GPU ve LLM çıkarım metodolojisine bakın. Tüm değerler teknik özelliklerden türetilmiştir; hiçbiri ölçüm değildir.

Sınırlamalar

  • H200 NVL (PCIe) varyantı, SXM parçaya göre daha düşük güç ve hesaplama sınırlarına sahiptir.
  • FP8 KV önbellek, her iki GPU için eşzamanlılık değerlerini yaklaşık iki katına çıkarır.
  • PCIe üzerinden çok kartlı L40S verimliliği büyük ölçüde servis motoruna ve sunucu topolojisine bağlıdır.

Sonuç

Bu GPU’lar farklı sorulara yanıt verir. H200 şu soruyu yanıtlar: “Büyük bir modeli uzun bağlamlarla mümkün olduğunca az GPU’da nasıl servis ederim?” L40S ise şu soruyu yanıtlar: “Küçük bir model veya görsel bir iş yükü için en ucuz yeterli kart hangisi?” Aralarında seçim yapmak model boyutuyla başlar.

Sık sorulan sorular

L40S 70B model çalıştırabilir mi?

Yalnızca birden fazla kartta veya 4-bit kuantizasyonla. FP8 ile ağırlıklar yaklaşık 70,6 GB'tır; bu, tek L40S'in 48 GB'ını aşar. İki L40S kartı ağırlıkları barındırır ancak KV önbellek için az yer bırakır.

H200, birkaç L40S kartına göre buna değer mi?

Modele bağlıdır. 70B sınıfı modellerde tek H200, PCIe üzerinden tensor parallelism gereksinimini ortadan kaldırır ve çok daha fazla KV kapasitesi sunar. Küçük modellerde birkaç L40S kartı, maliyet birimi başına daha fazla toplam verim sağlayabilir — bunun kendi iş yükünüzde ölçülmesi gerekir.

Kaynaklar

  1. [1] NVIDIA H200 Tensor Core GPU — NVIDIA Üretici veri sayfası erişim:
  2. [2] NVIDIA L40S GPU — NVIDIA Üretici veri sayfası erişim:
  3. [3] Llama 3.3 70B Instruct model card — Meta Resmî dokümantasyon erişim:
  4. [4] DigitalOcean GPU Droplet pricing — DigitalOcean Resmî dokümantasyon erişim: