İçeriğe geç
Cloud Provider Benchmarks

Benchmarklar · GPU ve AI

LLM çıkarım benchmarkları: bulut GPU’larında Qwen, DeepSeek, MiniMax ve Llama

Bu sayfa, kendi altyapısında çıkarım için en sık kullanılan açık ağırlıklı model ailelerini kapsar: Qwen, DeepSeek, MiniMax ve Llama. Her model için hassasiyete göre ağırlık boyutunu, yayımlanmış mimariden token başına KV önbelleği baytını, gereken minimum GPU sayısını ve bant genişliğinden türetilmiş decode tavanını yayımlıyoruz. Ölçülmüş sunum çalıştırmaları vLLM’i bir adaptör arayüzü üzerinden kullanır; başka motorlar eklenebilir.

Güncellendi:

Kısa yanıt

Model belleği = parametre × parametre başına bayt, artı bağlam uzunluğu ve eşzamanlılıkla büyüyen KV önbelleği. 70B bir model herhangi bir KV önbelleği olmadan FP8’de yaklaşık 70 GB gerektirir; bu nedenle tek H200’e rahat, tek H100’e sıkışık sığar ve en az iki L40S gerektirir. Qwen3-30B-A3B gibi MoE modeller token başına yalnızca aktif parametrelerini okur; bu decode hızını artırır ancak bellek gereksinimini azaltmaz.

Ne ölçülür

  • BF16, FP8 ve INT4’te ağırlık belleği
  • Token başına ve 32K bağlamda KV önbelleği
  • GPU modeline göre minimum GPU sayısı (FP8)
  • GPU modeline göre tek akış decode tavanı
  • Modele göre doğrulanmış TTFT, TPOT ve verim çalıştırmaları

Model bellek ayak izi

Yayımlanmış model mimarilerinden hesaplanmıştır.

Model bellek gereksinimleri ve minimum GPU sayısı (FP8 ağırlıklar)
Model Parametre (B) BF16 (GB) FP8 (GB) INT4 (GB) KV / token (KiB) KV @32K (GB) Min. H100 SXM5Min. H200 SXMMin. L40S
Llama 3.1 8B Instruct Yoğun · GQA 8 16 8 4 128 4,3 1×1×1×
Llama 3.3 70B Instruct Yoğun · GQA 70,6 141 71 35 320 10,7 2×1×2×
Qwen2.5 7B Instruct Yoğun · GQA 7,6 15 8 4 56 1,9 1×1×1×
Qwen3 32B Yoğun · GQA 32,8 66 33 16 256 8,6 1×1×1×
Qwen3 30B-A3B MoE · 3,3B aktif · GQA 30,5 61 31 15 96 3,2 1×1×1×
Qwen2.5 72B Instruct Yoğun · GQA 72,7 145 73 36 320 10,7 2×1×2×
DeepSeek-R1-Distill-Qwen-32B Yoğun · GQA 32,8 66 33 16 256 8,6 1×1×1×
DeepSeek-V3 MoE · 37B aktif · MLA 671 1.342 671 336 69 2,3 >88×>8
MiniMax-M1-80k MoE · 45,9B aktif · HYBRID-LINEAR 456 912 456 228 — — 8×4×>8

Ağırlık boyutu = parametre × hassasiyet baytı. KV = 2 × katman × KV başlığı × başlık boyutu × 2 bayt (MLA için latent boyutu). Minimum GPU: %85 kullanılabilir bellek ve GPU başına en az 4 GB KV payı. Ölçüm değil, kapasite modelidir.

MiniMax-M1-80k için KV önbelleği modellenmedi: hibrit/doğrusal dikkat katmanları standart formülle ifade edilemez. Bu modeller yalnızca ölçümle değerlendirilir.

Decode tavanları

Tek akışlı decode için bellek bant genişliği tavanı (FP8, tok/s) Teorik üst sınır — ölçüm değil
Model H100 SXM5H200 SXML40S
Llama 3.1 8B Instruct 417 598 108
Llama 3.3 70B Instruct 95 2× TP 68 24 2× TP
Qwen2.5 7B Instruct 440 631 114
Qwen3 32B 102 146 26
Qwen3 30B-A3B 1.015 1.455 262
Qwen2.5 72B Instruct 92 2× TP 66 24 2× TP
DeepSeek-R1-Distill-Qwen-32B 102 146 26
DeepSeek-V3 sığmaz 1.038 8× TP sığmaz
MiniMax-M1-80k 584 8× TP 418 4× TP sığmaz

Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.

Tek akışlı decode için bellek bant genişliği tavanı (BF16, tok/s) Teorik üst sınır — ölçüm değil
Model H100 SXM5H200 SXML40S
Llama 3.1 8B Instruct 209 299 54
Llama 3.3 70B Instruct 95 4× TP 68 2× TP 24 4× TP
Qwen2.5 7B Instruct 220 315 57
Qwen3 32B 102 2× TP 73 26 2× TP
Qwen3 30B-A3B 508 727 262 2× TP
Qwen2.5 72B Instruct 92 4× TP 66 2× TP 24 4× TP
DeepSeek-R1-Distill-Qwen-32B 102 2× TP 73 26 2× TP
DeepSeek-V3 sığmazsığmazsığmaz
MiniMax-M1-80k sığmaz 418 8× TP sığmaz

Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.

Doğrulanmış sonuçlar