Cloud Provider Benchmarks Bulut altyapısı araştırmaları

Menü

Benchmarklar · GPU ve AI

Çok kullanıcılı LLM çıkarımı: H100, H200 ve L40S’de eşzamanlılık ve bağlam senaryoları

Çok sayıda kullanıcıya aynı anda hizmet vermeyi ilk olarak KV önbelleği belleği sınırlar: her aktif dizi bağlam uzunluğuyla orantılı önbellek ayırır. Aşağıdaki senaryo matrisleri her GPU ve model için 1, 5, 10, 25, 50 ve 100 eşzamanlı istek ile 8K–128K bağlamın hangi kombinasyonlarının belleğe sığdığını gösterir. Yalnızca çalıştırılabilir senaryolar ölçüm için planlanır.

Güncellendi: 6 Kasım 2026

Kısa yanıt

Maksimum eşzamanlılık ≈ (kullanılabilir GPU belleği − ağırlıklar) ÷ (token başına KV baytı × bağlam uzunluğu). Tek H200’de FP8 Llama 3.3 70B, tek H100’e göre çok daha fazla eşzamanlı 8K oturumu sürdürür; 128K bağlam ise her GPU’da eşzamanlılığı 8K’ya göre on altı kat azaltır.

Ne ölçülür

6 eşzamanlılık düzeyi × 5 bağlam uzunluğu için senaryo uygunluğu
GPU konfigürasyonu başına KV önbelleği bütçesi
Eşzamanlılık arttıkça ölçülen TTFT ve TPOT bozulması (doğrulanmış çalıştırmalar)
Yük altında hata oranı

Llama 3.1 8B Instruct · tek GPU

Her GPU modeli için senaryo matrisi.

Llama 3.1 8B Instruct · BF16 · 1× H100 SXM5 Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 51.9 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	✓	✓	✓	—	—	48
16K	✓	✓	✓	—	—	—	24
32K	✓	✓	✓	—	—	—	12
64K	✓	✓	—	—	—	—	6
128K	✓	—	—	—	—	—	3

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Llama 3.1 8B Instruct · BF16 · 1× H200 SXM Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 103.8 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	✓	✓	✓	✓	—	96
16K	✓	✓	✓	✓	—	—	48
32K	✓	✓	✓	—	—	—	24
64K	✓	✓	✓	—	—	—	12
128K	✓	✓	—	—	—	—	6

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Llama 3.1 8B Instruct · BF16 · 1× L40S Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 24.7 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	✓	✓	—	—	—	23
16K	✓	✓	✓	—	—	—	11
32K	✓	✓	—	—	—	—	5
64K	✓	—	—	—	—	—	2
128K	✓	—	—	—	—	—	1

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Qwen3 30B-A3B · tek GPU

Her GPU modeli için senaryo matrisi.

Qwen3 30B-A3B · FP8 · 1× H100 SXM5 Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 37.5 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	✓	✓	✓	—	—	46
16K	✓	✓	✓	—	—	—	23
32K	✓	✓	✓	—	—	—	11
64K	✓	✓	—	—	—	—	5
128K	✓	—	—	—	—	—	2

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Qwen3 30B-A3B · FP8 · 1× H200 SXM Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 89.3 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	✓	✓	✓	✓	✓	110
16K	✓	✓	✓	✓	✓	—	55
32K	✓	✓	✓	✓	—	—	27
64K	✓	✓	✓	—	—	—	13
128K	✓	✓	—	—	—	—	6

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Qwen3 30B-A3B · FP8 · 1× L40S Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 10.3 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	✓	✓	—	—	—	12
16K	✓	✓	—	—	—	—	6
32K	✓	—	—	—	—	—	3
64K	✓	—	—	—	—	—	1
128K	—	—	—	—	—	—	0

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Llama 3.3 70B Instruct · tek GPU

Her GPU modeli için senaryo matrisi.

Llama 3.3 70B Instruct · FP8 · 1× H100 SXM5 Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ -2.6 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✕	✕	✕	✕	✕	✕	0
16K	✕	✕	✕	✕	✕	✕	0
32K	✕	✕	✕	✕	✕	✕	0
64K	✕	✕	✕	✕	✕	✕	0
128K	✕	✕	✕	✕	✕	✕	0

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Llama 3.3 70B Instruct · FP8 · 1× H200 SXM Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 49.3 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	✓	✓	—	—	—	18
16K	✓	✓	—	—	—	—	9
32K	✓	—	—	—	—	—	4
64K	✓	—	—	—	—	—	2
128K	✓	—	—	—	—	—	1

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Llama 3.3 70B Instruct · FP8 · 1× L40S Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ -29.8 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✕	✕	✕	✕	✕	✕	0
16K	✕	✕	✕	✕	✕	✕	0
32K	✕	✕	✕	✕	✕	✕	0
64K	✕	✕	✕	✕	✕	✕	0
128K	✕	✕	✕	✕	✕	✕	0

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Qwen2.5 72B Instruct · 2× GPU

Her GPU modeli için senaryo matrisi.

Qwen2.5 72B Instruct · FP8 · 2× H100 SXM5 Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 63.3 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	✓	✓	—	—	—	23
16K	✓	✓	✓	—	—	—	11
32K	✓	✓	—	—	—	—	5
64K	✓	—	—	—	—	—	2
128K	✓	—	—	—	—	—	1

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Qwen2.5 72B Instruct · FP8 · 2× H200 SXM Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 167.0 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	✓	✓	✓	✓	—	62
16K	✓	✓	✓	✓	—	—	31
32K	✓	✓	✓	—	—	—	15
64K	✓	✓	—	—	—	—	7
128K	✓	—	—	—	—	—	3

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Qwen2.5 72B Instruct · FP8 · 2× L40S Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 8.9 GB
Bağlam	1	5	10	25	50	100	Maks. eşz.
8K	✓	—	—	—	—	—	3
16K	✓	—	—	—	—	—	1
32K	—	—	—	—	—	—	0
64K	—	—	—	—	—	—	0
128K	—	—	—	—	—	—	0

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Doğrulanmış sonuçlar

GPU ve AI altyapısı

Çok kullanıcılı LLM çıkarımı: eşzamanlılık, bağlam ve KV önbellek bir GPU'yu nasıl sınırlar

Bir GPU kaç eşzamanlı kullanıcıya hizmet verebilir: bağlam uzunluğuna göre KV önbellek kapasitesi, gecikmenin yükle neden arttığı ve eşzamanlılığın doğru benchmarkı.

6 Kasım 2026

GPU ve AI altyapısı

LLM çıkarımı için en iyi GPU: H100, H200 ve L40S'yi model boyutuna göre eşleştirme

Model boyutu, hassasiyet, bağlam uzunluğu ve eşzamanlılığa göre LLM çıkarımı için hangi GPU kullanılmalı — Qwen, Llama, DeepSeek ve MiniMax için boyutlandırma rehberi.

6 Kasım 2026