İçeriğe geç
Cloud Provider Benchmarks

Metodoloji

GPU ve LLM çıkarımı benchmark metodolojisi

H100, H200 ve L40S üzerinde vLLM ile LLM çıkarımının nasıl ölçüldüğü: modeller, hassasiyetler, bağlam ve eşzamanlılık senaryoları, metrikler ve doğrulama.

Sürüm 1.0 Güncellendi:

Kapsam

  • NVIDIA H100, H200 ve L40S GPU'lar; tek GPU ve çoklu GPU tensor parallel yapılandırmaları
  • BF16, FP8 ve 4-bit hassasiyetlerde Qwen, DeepSeek, MiniMax ve Llama model aileleri
  • 1, 5, 10, 25, 50 ve 100 eşzamanlılık seviyeleri
  • 8K, 32K, 64K ve 128K token bağlam uzunlukları
  • TTFT, TPOT, uçtan uca gecikme (p50/p95/p99), çıktı token/s, hata oranı, tepe GPU belleği ve 1M çıktı token başına maliyet
Araçlar
Araç Sürüm
vLLM (vllm bench serve) Her çalıştırmada kaydedilir
NVIDIA driver and CUDA Her çalıştırmada kaydedilir
nvidia-smi Her çalıştırmada kaydedilir

Önce uygulanabilirlik

Herhangi bir çalıştırmadan önce her model × hassasiyet × GPU × bağlam × eşzamanlılık senaryosu bir bellek modeline göre kontrol edilir:

  • Ağırlıklar = parametre sayısı × parametre başına bayt (BF16 = 2, FP8 = 1, 4-bit = 0,5).
  • Token başına KV önbelleği = 2 × katman sayısı × KV head sayısı × head boyutu × 2 bayt (16-bit önbellek) veya modelin yayımlanmış sıkıştırılmış boyutu.
  • Kullanılabilir bellek = cihaz belleği × (0,90 − 0,05); vLLM’in varsayılan gpu_memory_utilization değerinden çalışma zamanı payının çıkarılmasına karşılık gelir.
  • Kullanılabilir bellek − ağırlıklar ≥ token başına KV × bağlam × eşzamanlılık ise senaryo uygulanabilirdir.

Uygulanamayan senaryolar çalıştırılmaz ve başarısızlık olarak değil, uygulanamaz olarak raporlanır. GPU sayfalarındaki teorik tablolar da aynı modelle üretilir ve türetilmiş olarak etiketlenir.

Llama 3.3 70B Instruct · FP8 · 2× H100 SXM5 Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 65.4 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ ✓ ✓ — — — 24
16K ✓ ✓ ✓ — — — 12
32K ✓ ✓ — — — — 6
64K ✓ — — — — — 3
128K ✓ — — — — — 1

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Servis yapılandırması

  • vLLM OpenAI uyumlu sunucu; sürüm, CUDA, sürücü ve container imaj digest’i kaydedilir.
  • --max-model-len senaryonun bağlamına; --tensor-parallel-size GPU sayısına eşit ayarlanır.
  • Karşılaştırılabilirlik için prefix caching devre dışıdır; speculative decoding kapalıdır.
  • Bir çalıştırmada açıkça aksi belirtilmedikçe varsayılan zamanlayıcı ayarları kullanılır.

Yük üretimi

Sabit rastgele bir veri setiyle vllm bench serve: girdi uzunluğu = bağlamın %50’si, çıktı uzunluğu 512 token, --max-concurrency senaryo seviyesine ayarlı, --num-prompts = max(200, 10 × eşzamanlılık). İstemci aynı host üzerinde veya aynı özel ağda çalışır; konumu kaydedilir.

Metrikler

Metrik Tanım
TTFT İsteğin gönderilmesinden ilk çıktı token’ına kadar geçen süre, p50/p95/p99
TPOT İlk token’dan sonra çıktı token’ları arasındaki ortalama süre, p50/p95/p99
Uçtan uca gecikme İsteğin gönderilmesinden son token’a kadar, p50/p95/p99
Çıktı verimi Tüm istekler genelinde saniye başına çıktı token’ı
Hata oranı Başarısız veya kesilmiş istekler ÷ toplam
Tepe GPU belleği Çalıştırma sırasında nvidia-smi’dan alınan maksimum kullanılan bellek
1M token başına maliyet Saatlik instance fiyatı ÷ (çıktı token/s × 3.600) × 10⁶; çalıştırma tarihindeki yayımlanmış liste fiyatı kullanılır

İçe aktarma ve doğrulama

Sonuçlar, vLLM’in JSON çıktısından ve bir meta veri dosyasından (sağlayıcı, bölge, instance, GPU, model, hassasiyet, sürümler, fiyat kaynağı) npm run import:benchmarks ile içe aktarılır. İçe aktarıcı şemayı doğrular, ham çıktıyı kopyalar ve kaydı her zaman doğrulama bekliyor olarak yazar. Bir kayıt, yalnızca bağımsız bir yeniden çalıştırma çıktı verimini ±%5 ve p50 TTFT’yi ±%10 içinde yeniden ürettikten sonra yayımlanır.

Sınırlamalar

  • Sentetik rastgele prompt’lar, önbellek dostu üretim trafiğini yansıtmaz.
  • Verim vLLM sürümüne bağlıdır; sonuçlar yeniden çalıştırılmadan ana sürümler arasında karşılaştırılamaz.
  • MiniMax-M1’in hibrit attention yapısı KV formülü kapsamında değildir; senaryoları yalnızca ölçülen tepe bellekle değerlendirilir.
  • Token başına maliyet liste fiyatlarını kullanır; indirimler sonucu değiştirir.

Bu yöntemi kullanan benchmarklar

Diğer yöntemler