LLM çıkarımı için NVIDIA H100 ve H200: bellek, bant genişliği ve yükseltmenin anlamlı olduğu durumlar

Çıkarım için önemli teknik özellikler

Her iki GPU da Hopper nesline aittir. H200 SXM, H100 SXM’in hesaplama birimini — aynı dördüncü nesil Tensor Core’lar, Transformer Engine ve 900 GB/s NVLink 4 — korur ve bellek alt sistemini değiştirir. Aşağıdaki tablo kaynaklarda belirtilen üretici veri sayfalarından üretilmiştir.

Çıkarım sonuçlarının çoğunu üç değer belirler:

Özellik	H100 SXM	H200 SXM	Oran
Bellek	80 GB HBM3	141 GB HBM3e	1,76×
Bellek bant genişliği	3,35 TB/s	4,8 TB/s	1,43×
FP8 yoğun Tensor Core	1.979 TFLOPS	1.979 TFLOPS	1,00×

LLM servisini neden bellek belirler

Bir çıkarım sunucusu GPU belleğinde iki şey tutar: model ağırlıkları ve her etkin dizi için key-value (KV) önbelleği. Ağırlıklar sabittir — FP8’de parametre başına yaklaşık bir bayt, BF16’da iki bayt. KV önbelleği ise bağlam uzunluğu ve eşzamanlı istek sayısıyla büyür. Llama 3.3 70B için KV önbelleği 16-bit hassasiyette token başına yaklaşık 0,33 MB tutar; tek bir 8K token’lık dizi yaklaşık 2,7 GB gerektirir.

Ağırlıklar ve KV önbelleği tek GPU’yu aştığında model tensor parallelism ile GPU’lara bölünmelidir; bu GPU’lar arası iletişim ekler ve kopya başına donanımı ikiye katlar. H200’ün ek 61 GB’ı bu eşiği taşır.

Tek GPU’da 70B model

En belirgin fark FP8 ile 70B sınıfı yoğun modeldir. H100’de ağırlıklar tek başına kullanılabilir belleğin neredeyse tamamını tüketir; bu nedenle en küçük pratik yapılandırma iki GPU’dur. H200’de model yaklaşık 49 GB KV bütçesiyle tek GPU’ya sığar — bu varsayımlarla yaklaşık 18 eşzamanlı 8K token’lık diziye yer vardır.

Aynı model iki H100’de toplamda daha fazla KV belleğine (yaklaşık 65 GB) sahiptir; yani kesin olarak daha kötü değildir, ancak kopya başına iki GPU kullanır. Tek H200 mü yoksa iki H100 mü daha ucuz olduğu tamamen sağlayıcıların GPU-saat fiyatlarına bağlıdır.

Decode hızı: bant genişliği tavanı

Her token’ın üretilmesi etkin ağırlıkların bellekten okunmasını gerektirir. Batch boyutu 1’de bu, bellek bant genişliğinin ağırlık baytlarına bölümü kadar bir üst sınır verir. Gerçek verim kernel verimliliği, attention okumaları ve zamanlama nedeniyle daha düşüktür; ancak GPU’lar arasındaki oran bilgilendiricidir.

FP8 ile Llama 3.3 70B için tavan H100 SXM başına yaklaşık 47, H200 başına yaklaşık 68 token/s’dir. Batching ile toplam verim, hesaplama veya KV kapasitesi sınır olana kadar tek akış değerinin çok üzerine çıkar — burada H200’ün daha büyük KV bütçesi yeniden önem kazanır.

Erişilebilirlik ve fiyat

Fiyatlar her sağlayıcının kendi para birimi ve faturalandırma esasındaki liste fiyatlarıdır; döviz kurları ve vergi uygulamaları karşılaştırmayı değiştirdiği için çevrilmemiştir.

Metodoloji

Tüm değerler, GPU ve LLM çıkarım metodolojisindeki formüllerle kamuya açık teknik özelliklerden türetilmiştir. Bu sayfada benchmark sonucu kullanılmamıştır. Ölçülmüş TTFT, TPOT, verim ve gecikme yüzdelikleri yalnızca bir koşu tekrarlanıp doğrulandıktan sonra LLM çıkarım benchmarklarında yer alır.

Sınırlamalar

• Kapasite değerleri 16-bit KV önbelleği varsayar; FP8 KV önbelleği gösterilen eşzamanlılığı yaklaşık iki katına çıkarır.
• Her iki GPU’nun PCIe ve NVL varyantları, burada modellenen SXM parçalardan farklı bant genişliği ve güç sınırlarına sahiptir.
• Bant genişliği tavanları, bağlam uzadıkça artan attention önbellek okumalarını hesaba katmaz.
• Sağlayıcı sunucu yapıları (sunucu başına GPU, vCPU, ana bellek) gerçek kurulumları etkiler ve modellenmemiştir.

Sonuç

H200, daha fazla ve daha hızlı belleğe sahip bir H100’dür. Kısıt bellek olduğunda sonucu değiştirir: FP8 ile 70B sınıfı modeller, uzun bağlamlar ve yüksek eşzamanlılık. H100’e bol payla zaten sığan küçük modellerde H200 esas olarak eşzamanlılık ekler; karar, erişebildiğiniz sağlayıcıların GPU-saat fiyatına dayanır.