İçeriğe geç
Cloud Provider Benchmarks

GPU ve AI altyapısı

LLM çıkarımı için en iyi GPU: H100, H200 ve L40S'yi model boyutuna göre eşleştirme

Model boyutu, hassasiyet, bağlam uzunluğu ve eşzamanlılığa göre LLM çıkarımı için hangi GPU kullanılmalı — Qwen, Llama, DeepSeek ve MiniMax için boyutlandırma rehberi.

Yayımlandı: Güncellendi: Read in English

Kısa yanıt

7B–14B modeller için L40S genellikle yeterlidir. 30B–32B modeller için FP8 ile H100 veya daha fazla eşzamanlılık için H200 kullanın. 70B modeller için FP8 ile tek H200 veya iki H100 kullanın. FP8 ile DeepSeek-V3 (671B) için 8× H200 sunucu kullanın; MiniMax-M1 (456B) 4× H200'e veya 8× H100'e sığar.

Yönetici özeti

LLM çıkarımı için tek bir en iyi GPU yoktur; doğru seçim model boyutu, hassasiyet, bağlam uzunluğu ve eşzamanlılıktan doğar. Küçük modeller (7B–14B) L40S'de iyi çalışır. Orta boy modeller (30B–32B) FP8 ile tek H100'e makul bir payla sığar. 70B sınıfı modeller FP8 ile tek H200'e veya iki H100'e sığar. Çok büyük mixture-of-experts modelleri çok GPU'lu tam bir sunucu gerektirir: FP8 ile DeepSeek-V3 sekiz H200'e sığar ancak sekiz H100'e sığmaz; FP8 ile MiniMax-M1 ise dört H200'e veya sekiz H100'e sığar.

Temel bulgular

  1. 01 FP8 ağırlıklar milyar parametre başına yaklaşık 1 GB yer kaplar; standart %90 kullanım ve %5 rezerv altında kullanılabilir cihaz belleği kartın yaklaşık %85'idir.
  2. 02 Uzun bağlamda bağlayıcı kısıt çoğu zaman ağırlıklar değil KV önbellektir: Llama 3.3 70B token başına yaklaşık 0,33 MB, tek bir 128K token'lık dizi için ise 43 GB gerektirir.
  3. 03 Mixture-of-experts modelleri belleği hızdan ayırır: Qwen3 30B-A3B ağırlıklar için ~30 GB gerektirir, ancak FP8 ile token başına yalnızca ~3,3 GB okur.
  4. 04 Ölçülmüş verim servis motoruna bağlıdır; bu boyutlandırma kuralları kazananları değil, uygulanabilir yapılandırmaları belirler.

Üç adımda boyutlandırma kuralı

  1. Ağırlıklar. Parametre sayısı × parametre başına bayt: BF16’da yaklaşık 2 bayt, FP8’de 1 ve 4-bit’te 0,5.
  2. KV önbellek. Token başına 2 × katman × KV başlığı × başlık boyutu × bayt; bağlam uzunluğu ve eşzamanlı dizi sayısıyla çarpılır.
  3. Kullanılabilir bellek. Servis motorunun kullanım sınırı ve çalışma zamanı rezervi uygulandıktan sonra kartın yaklaşık %85’i.

Ağırlıklar artı ihtiyaç duyduğunuz KV önbellek kullanılabilir belleği aşıyorsa GPU ekleyin (tensor parallelism) veya hassasiyeti düşürün.

GPU’lara göre model belleği

Model bellek gereksinimleri ve minimum GPU sayısı (FP8 ağırlıklar)
Model Parametre (B) BF16 (GB) FP8 (GB) INT4 (GB) KV / token (KiB) KV @32K (GB) Min. H100 SXM5Min. H200 SXMMin. L40S
Llama 3.1 8B Instruct Yoğun · GQA 8 16 8 4 128 4,3 1×1×1×
Llama 3.3 70B Instruct Yoğun · GQA 70,6 141 71 35 320 10,7 2×1×2×
Qwen2.5 7B Instruct Yoğun · GQA 7,6 15 8 4 56 1,9 1×1×1×
Qwen3 32B Yoğun · GQA 32,8 66 33 16 256 8,6 1×1×1×
Qwen3 30B-A3B MoE · 3,3B aktif · GQA 30,5 61 31 15 96 3,2 1×1×1×
Qwen2.5 72B Instruct Yoğun · GQA 72,7 145 73 36 320 10,7 2×1×2×
DeepSeek-R1-Distill-Qwen-32B Yoğun · GQA 32,8 66 33 16 256 8,6 1×1×1×
DeepSeek-V3 MoE · 37B aktif · MLA 671 1.342 671 336 69 2,3 >88×>8
MiniMax-M1-80k MoE · 45,9B aktif · HYBRID-LINEAR 456 912 456 228 — — 8×4×>8

Ağırlık boyutu = parametre × hassasiyet baytı. KV = 2 × katman × KV başlığı × başlık boyutu × 2 bayt (MLA için latent boyutu). Minimum GPU: %85 kullanılabilir bellek ve GPU başına en az 4 GB KV payı. Ölçüm değil, kapasite modelidir.

Model boyutuna göre öneriler

Model sınıfı Örnekler Önerilen başlangıç noktası
7B–8B Qwen2.5 7B, Llama 3.1 8B 1× L40S (FP8 veya BF16)
30B–32B yoğun Qwen3 32B, DeepSeek-R1-Distill-Qwen-32B 1× H100 (FP8) veya 1× H200
30B MoE Qwen3 30B-A3B 1× H100 veya 1× L40S (FP8)
70B–72B Llama 3.3 70B, Qwen2.5 72B 1× H200 (FP8) veya 2× H100
450B–700B MoE DeepSeek-V3 (671B), MiniMax-M1 (456B) 8× H200 (DeepSeek-V3 FP8); 4× H200 veya 8× H100 (MiniMax-M1 FP8)

Bunlar performans iddiaları değil, kapasite için başlangıç noktalarıdır.

Bağlam uzunluğu her şeyi değiştirir

Uzun bağlamlar KV önbelleği katlar. Llama 3.3 70B için tek bir 8K token’lık dizi yaklaşık 2,7 GB KV önbellek gerektirirken tek bir 128K token’lık dizi yaklaşık 43 GB gerektirir — bu bir H100’ün yarısından fazlasıdır.

Qwen3 32B · FP8 · 1× H100 SXM5 Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 35.2 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ ✓ ✓ — — — 16
16K ✓ ✓ — — — — 8
32K ✓ — — — — — 4
64K ✓ — — — — — 2
128K ✓ — — — — — 1

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Hız: önce bant genişliği, sonra hesaplama

Tek akışlı decode için bellek bant genişliği tavanı (FP8, tok/s) Teorik üst sınır — ölçüm değil
Model H100 SXM5H200 SXML40S
Llama 3.1 8B Instruct 417 598 108
Llama 3.3 70B Instruct 95 2× TP 68 24 2× TP
Qwen2.5 7B Instruct 440 631 114
Qwen3 32B 102 146 26
Qwen3 30B-A3B 1.015 1.455 262
Qwen2.5 72B Instruct 92 2× TP 66 24 2× TP
DeepSeek-R1-Distill-Qwen-32B 102 146 26
DeepSeek-V3 sığmaz 1.038 8× TP sığmaz

Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.

Düşük batch boyutlarında decode bellek bant genişliğiyle sınırlıdır; uzun prompt’ların prefill’i ise hesaplamayla sınırlıdır. Üretim ortamındaki verim bu sınırlar arasında yer alır ve batching’e, attention kernel’ine ve zamanlayıcıya bağlıdır.

Bu GPU’lar nerede erişilebilir

Sağlayıcılara göre GPU erişilebilirliği ve yayımlanmış GPU-saat fiyatları
Sağlayıcı NVIDIA H100NVIDIA H200NVIDIA L40S Türkiye altyapısı
PortvMind Cloud Genel kullanımda gpu.h100s / gpu.h100m profiles ₺195,835 / GPU-h Sunucu başına 1, 2, 3 veya 4 GPU; GPU başına 80 GB (81.920 MB) VRAM; GPU başına 26 vCPU ve 496 GB RAM; yerel disk dahil. Genel kullanımda GPU / AI Compute (H200 option) Mevcut GPU seçeneği olarak listelenir; konfigürasyon ve fiyatlar kamuya açık hesaplayıcı tablosunda yer almaz, konsol veya satış ekibi üzerinden sunulur. Genel kullanımda GPU / AI Compute (L40S option) Mevcut GPU seçeneği olarak listelenir; konfigürasyon ve fiyatlar kamuya açık hesaplayıcı tablosunda yer almaz, konsol veya satış ekibi üzerinden sunulur. Var
Amazon Web Services Genel kullanımda EC2 P5 Tek GPU'lu p5.4xlarge ve 8 GPU'lu p5.48xlarge boyutları; erişilebilirlik bölgeye göre değişir. Genel kullanımda EC2 P5e / P5en 8 GPU'lu sunucular; erişilebilirlik bölgeye göre değişir. Genel kullanımda EC2 G6e Sunucu başına 1–8 L40S GPU. Var
Microsoft Azure Genel kullanımda NC H100 v5 / ND H100 v5 Bir veya iki H100 NVL GPU'lu NC H100 v5; sekiz H100 GPU'lu ND H100 v5. Genel kullanımda ND H200 v5 VM başına sekiz H200 GPU. Sunulmuyor L40S SKU'ları Azure Local / Azure Stack Hub (müşteri sahası donanımı) için belgelenmiştir. Yok
Google Cloud Genel kullanımda A3 High / A3 Mega VM başına 8'e kadar H100 GPU; zone erişilebilirliği değişir. Genel kullanımda A3 Ultra VM başına 8 H200 GPU; zone erişilebilirliği değişir. Sunulmuyor Duyuruldu
DigitalOcean Genel kullanımda GPU Droplet — NVIDIA HGX H100 $4,410 / GPU-h 1× veya 8× H100 80 GB; 1× planda 20 vCPU ve 240 GiB RAM. Genel kullanımda GPU Droplet — NVIDIA HGX H200 $4,470 / GPU-h 1× veya 8× H200 141 GB; 1× planda 24 vCPU ve 240 GiB RAM. Genel kullanımda GPU Droplet — NVIDIA L40S $1,570 / GPU-h 8 vCPU ve 64 GiB RAM ile 1× L40S 48 GB. Yok
Vultr Genel kullanımda Cloud GPU — NVIDIA HGX H100 $2,300 / GPU-h 8× H100 80 GB SXM (640 GB GPU RAM, 216 vCPU, 1.914 GB RAM). Doğrulanmadı Not listed on the public pricing page Son inceleme tarihinde H200 Vultr fiyat sayfasında listelenmiyordu. Genel kullanımda Cloud GPU — NVIDIA L40S $1,671 / GPU-h 1, 2, 4 veya 8× L40S 48 GB; 1× planda 16 vCPU ve 180 GB RAM. Yok
Hetzner Sunulmuyor Sunulmuyor Sunulmuyor Yok

Metodoloji

GPU ve LLM çıkarım metodolojisi kullanılarak türetilmiştir. Model mimarisi parametreleri resmi model kartlarından alınmıştır. Ölçülmüş sonuçlar doğrulandıktan sonra ayrıca LLM çıkarım benchmarkları sayfasında yayımlanır.

Sınırlamalar

  • KV önbellek değerleri prefix paylaşımı olmayan 16-bit önbellek varsayar; vLLM’in prefix caching özelliği paylaşılan prompt’lar için belleği azaltabilir.
  • MiniMax-M1, KV ayak izi burada modellenmeyen hibrit bir attention tasarımı kullanır.
  • DeepSeek-V3 multi-head latent attention kullanır; KV boyutu yayımlanmış sıkıştırılmış boyutu izler.
  • Kuantizasyonun doğruluk üzerindeki etkileri göreve bağlıdır ve değerlendirilmemiştir.

Sonuç

Model boyutundan ve ihtiyaç duyduğunuz bağlam ile eşzamanlılıktan başlayın, belleği hesaplayın ve payla sığan en küçük GPU yapılandırmasını seçin. Ardından ölçün: buradaki boyutlandırma kuralları seçenekleri daraltır, aralarındaki kararı benchmarklar verir.

Sık sorulan sorular

Llama 3.3 70B çalıştırmak için en iyi GPU hangisi?

FP8 ile tek bir H200 (141 GB) ağırlıkları yaklaşık 49 GB KV bütçesiyle tutar. Yaygın alternatif iki adet H100 80 GB GPU'dur. BF16 ile iki H200 veya dört H100 gerekir.

8B model için hangi GPU gerekir?

Üçünden herhangi biri. L40S, FP8 ile 8B modeli tutar ve KV önbellek için yaklaşık 33 GB kalır; bu, modelleme varsayımları altında yaklaşık 30 eşzamanlı 8K token'lık diziye yeter.

Kuantizasyon cevabı değiştirir mi?

Evet. FP8, BF16'ya göre ağırlık belleğini yarıya indirir; 4-bit formatlar ise yeniden yarıya indirir. Bu genellikle görev bazında değerlendirilmesi gereken bir miktar doğruluk kaybıyla gelir.

Kaynaklar

  1. [1] NVIDIA H100 Tensor Core GPU — NVIDIA Üretici veri sayfası erişim:
  2. [2] NVIDIA H200 Tensor Core GPU — NVIDIA Üretici veri sayfası erişim:
  3. [3] NVIDIA L40S GPU — NVIDIA Üretici veri sayfası erişim:
  4. [4] DeepSeek-V3 model card — DeepSeek Resmî dokümantasyon erişim:
  5. [5] Qwen3 30B-A3B model card — Qwen Resmî dokümantasyon erişim:
  6. [6] MiniMax-M1-80k model card — MiniMax Resmî dokümantasyon erişim:
  7. [7] vLLM documentation — vLLM project Resmî dokümantasyon erişim: