Benchmarklar
GPU bulut benchmarkları: LLM çıkarımı için NVIDIA H100, H200 ve L40S
GPU bölümü, her biri etiketlenmiş üç tür kanıtı birleştirir: NVIDIA veri sayfası spesifikasyonları, bu spesifikasyonlardan ve model mimarilerinden türetilen deterministik kapasite modelleri ve doğrulamadan geçmiş ölçülmüş çıkarım çalıştırmaları. Sağlayıcı erişilebilirliği ve liste fiyatları, erişim tarihiyle birlikte sağlayıcıların kendi sayfalarından alınır.
Güncellendi:
Kısa yanıt
LLM çıkarımında belirleyici GPU özellikleri bellek kapasitesi (hangi model ve bağlam uzunluklarının sığdığı) ve bellek bant genişliğidir (token’ların ne hızda üretildiği). H200 4,8 TB/s ile 141 GB, H100 SXM 3,35 TB/s ile 80 GB ve L40S 864 GB/s ile 48 GB sunar; bu nedenle H200 GPU başına en büyük modelleri ve en uzun bağlamları sunarken L40S FP8’de yaklaşık 30B parametreye kadar modellere uygundur.
Ne ölçülür
- İlk token süresi (TTFT) ve çıktı token başına süre (TPOT), p50/p95/p99
- Toplam ve istek başına çıktı verimi (token/s)
- Kullanılan GPU belleği ve bağlam uzunluğuna göre maksimum eşzamanlılık
- Yayımlanmış saatlik fiyatlardan milyon çıktı token başına maliyet
- Yük altında başarı ve hata oranları
Araçlar
- vLLM — Sunum motoru (OpenAI uyumlu API)
- vllm bench serve — TTFT, TPOT ve verim yüzdeliklerini üreten yük üreteci
- nvidia-smi — Sürücü, CUDA ve bellek telemetrisi
GPU sayfaları ve analizler
- NVIDIA H100 Bulutta NVIDIA H100: spesifikasyonlar, hangi LLM ve bağlam uzunluklarının sığdığı, decode tavanları, sağlayıcı erişilebilirliği ve GPU-saat fiyatları.
- NVIDIA H200 Bulutta NVIDIA H200: 4,8 TB/s’de 141 GB HBM3e, çalıştırılabilir LLM senaryoları, H100’e göre decode tavanları, sağlayıcılar ve fiyatlar.
- NVIDIA L40S Bulutta NVIDIA L40S: 48 GB GDDR6, hangi LLM’lerin sığdığı, H100 ve H200’e göre decode tavanları, sağlayıcı erişilebilirliği ve GPU-saat fiyatları.
- LLM çıkarımı H100, H200 ve L40S’de LLM çıkarımı: model bellek ayak izi, token başına KV önbelleği, minimum GPU sayısı, decode tavanları ve doğrulanmış vLLM çalıştırmaları.
- Çok kullanıcılı çıkarım GPU ve model başına hangi eşzamanlılık (1–100 kullanıcı) ve bağlam (8K–128K) senaryolarının çalıştırılabildiği; KV önbelleği modeli ve doğrulanmış yük testleri.
- GPU fiyat-performansı Sağlayıcılara göre H100, H200 ve L40S için yayımlanmış GPU-saat liste fiyatları; bellek ve bant genişliğine göre normalize, ölçülmüş çalıştırmalardan token maliyeti.
Spesifikasyonlar
| GPU | Mimari | Bellek (GB) | Bellek tipi | Bant gen. (GB/s) | FP8 (TFLOPS) | BF16 (TFLOPS) | FP32 (TFLOPS) | Bağlantı | TDP | MIG |
|---|---|---|---|---|---|---|---|---|---|---|
| H100 SXM5 SXM5 | Hopper | 80 | HBM3 | 3.350 | 1.979 | 989 | 67 | NVLink 4 900 GB/s | Up to 700 W | Up to 7 MIGs @ 10 GB |
| H100 PCIe PCIe dual-slot | Hopper | 80 | HBM2e | 2.000 | 1.513 | 756 | 51 | NVLink bridge (2-way) 600 GB/s | 300–350 W | Up to 7 MIGs @ 10 GB |
| H100 NVL PCIe dual-slot | Hopper | 94 | HBM3 | 3.900 | 1.670 | 835 | 60 | NVLink bridge (2-way) 600 GB/s | 350–400 W | Up to 7 MIGs @ 12 GB |
| H200 SXM SXM5 | Hopper | 141 | HBM3e | 4.800 | 1.979 | 989 | 67 | NVLink 4 900 GB/s | Up to 700 W | Up to 7 MIGs @ 18 GB |
| H200 NVL PCIe dual-slot | Hopper | 141 | HBM3e | 4.800 | 1.670 | 835 | 60 | NVLink bridge (2- or 4-way) 900 GB/s | Up to 600 W | Up to 7 MIGs @ 16.5 GB |
| L40S PCIe dual-slot | Ada Lovelace | 48 | GDDR6 (ECC) | 864 | 733 | 362 | 91,6 | PCIe only | 350 W | Not supported |
Tensor değerleri yoğun (seyrek olmayan) tepe değerleridir; NVIDIA seyrekli değerleri bunun iki katı olarak yayımlar.
Kaynak: NVIDIA veri sayfaları. Yoğun (seyrek olmayan) değerler.
Data table
| GPU | GPU bellek kapasitesi (GB) |
|---|---|
| H100 SXM5 | 80 |
| H200 SXM | 141 |
| L40S | 48 |
Kaynak: NVIDIA veri sayfaları. Yoğun (seyrek olmayan) değerler.
Data table
| GPU | Bellek bant genişliği (GB/s) |
|---|---|
| H100 SXM5 | 3,350 |
| H200 SXM | 4,800 |
| L40S | 864 |
Kaynak: NVIDIA veri sayfaları. Yoğun (seyrek olmayan) değerler.
Data table
| GPU | Yoğun FP8 Tensor verimi (TFLOPS) |
|---|---|
| H100 SXM5 | 1,979 |
| H200 SXM | 1,979 |
| L40S | 733 |
Kaynak: NVIDIA veri sayfaları. Yoğun (seyrek olmayan) değerler.
Data table
| GPU | Yoğun BF16 Tensor verimi (TFLOPS) |
|---|---|
| H100 SXM5 | 989 |
| H200 SXM | 989 |
| L40S | 362 |
Sağlayıcılara göre erişilebilirlik
| Sağlayıcı | NVIDIA H100 | NVIDIA H200 | NVIDIA L40S | Türkiye altyapısı |
|---|---|---|---|---|
| PortvMind Cloud | Genel kullanımda gpu.h100s / gpu.h100m profiles ₺195,835 / GPU-h Sunucu başına 1, 2, 3 veya 4 GPU; GPU başına 80 GB (81.920 MB) VRAM; GPU başına 26 vCPU ve 496 GB RAM; yerel disk dahil. | Genel kullanımda GPU / AI Compute (H200 option) Mevcut GPU seçeneği olarak listelenir; konfigürasyon ve fiyatlar kamuya açık hesaplayıcı tablosunda yer almaz, konsol veya satış ekibi üzerinden sunulur. | Genel kullanımda GPU / AI Compute (L40S option) Mevcut GPU seçeneği olarak listelenir; konfigürasyon ve fiyatlar kamuya açık hesaplayıcı tablosunda yer almaz, konsol veya satış ekibi üzerinden sunulur. | Var |
| Amazon Web Services | Genel kullanımda EC2 P5 Tek GPU'lu p5.4xlarge ve 8 GPU'lu p5.48xlarge boyutları; erişilebilirlik bölgeye göre değişir. | Genel kullanımda EC2 P5e / P5en 8 GPU'lu sunucular; erişilebilirlik bölgeye göre değişir. | Genel kullanımda EC2 G6e Sunucu başına 1–8 L40S GPU. | Var |
| Microsoft Azure | Genel kullanımda NC H100 v5 / ND H100 v5 Bir veya iki H100 NVL GPU'lu NC H100 v5; sekiz H100 GPU'lu ND H100 v5. | Genel kullanımda ND H200 v5 VM başına sekiz H200 GPU. | Sunulmuyor L40S SKU'ları Azure Local / Azure Stack Hub (müşteri sahası donanımı) için belgelenmiştir. | Yok |
| Google Cloud | Genel kullanımda A3 High / A3 Mega VM başına 8'e kadar H100 GPU; zone erişilebilirliği değişir. | Genel kullanımda A3 Ultra VM başına 8 H200 GPU; zone erişilebilirliği değişir. | Sunulmuyor | Duyuruldu |
| DigitalOcean | Genel kullanımda GPU Droplet — NVIDIA HGX H100 $4,410 / GPU-h 1× veya 8× H100 80 GB; 1× planda 20 vCPU ve 240 GiB RAM. | Genel kullanımda GPU Droplet — NVIDIA HGX H200 $4,470 / GPU-h 1× veya 8× H200 141 GB; 1× planda 24 vCPU ve 240 GiB RAM. | Genel kullanımda GPU Droplet — NVIDIA L40S $1,570 / GPU-h 8 vCPU ve 64 GiB RAM ile 1× L40S 48 GB. | Yok |
| Vultr | Genel kullanımda Cloud GPU — NVIDIA HGX H100 $2,300 / GPU-h 8× H100 80 GB SXM (640 GB GPU RAM, 216 vCPU, 1.914 GB RAM). | Doğrulanmadı Not listed on the public pricing page Son inceleme tarihinde H200 Vultr fiyat sayfasında listelenmiyordu. | Genel kullanımda Cloud GPU — NVIDIA L40S $1,671 / GPU-h 1, 2, 4 veya 8× L40S 48 GB; 1× planda 16 vCPU ve 180 GB RAM. | Yok |
| Hetzner | Sunulmuyor | Sunulmuyor | Sunulmuyor | Yok |
Metrik tanımları
| Metrik | Birim | Yön | Tanım |
|---|---|---|---|
| İlk token süresi | ms | Düşük | İstek başlangıcından ilk üretilen token’a; kuyruk ve prefill dahil. |
| Çıktı token başına süre | ms | Düşük | İlk token’dan sonraki ortalama token arası gecikme. |
| Toplam çıktı verimi | tok/s | Yüksek | Tüm eşzamanlı isteklerde saniyede üretilen token. |
| Milyon çıktı token maliyeti | currency/1M tok | Düşük | Saatlik fiyat ÷ (toplam çıktı tok/s × 3600) × 10⁶. |
Doğrulanmış sonuçlar
Sık sorulan sorular
LLM çıkarımında FLOPS mu, bellek bant genişliği mi daha önemli?
Düşük batch boyutlarında token üretimi (decode) bellek bant genişliğiyle sınırlıdır: her token aktif ağırlıkları okur. Prefill ve büyük batch’ler daha çok hesaplamayla sınırlıdır. İkisi de önemlidir; tek akış tavanını bant genişliği belirler.
Kapasite tabloları ölçüm mü?
Hayır. Veri sayfası bellek boyutları ve model mimarilerinden hesaplanan deterministik modellerdir ve öyle etiketlenir. Ölçülmüş çalıştırmalar kaynağı ve çalıştırma bilgisiyle birlikte sonuç tablolarında listelenir.
İlgili araştırmalar
Fiyatlandırma
GPU bulut maliyet karşılaştırması: GPU-saat başına H100, H200 ve L40S fiyatları
Kaynaklarıyla GPU-saat başına yayımlanmış H100, H200 ve L40S bulut fiyatları; GB bellek ve TB/s bant genişliği başına normalize edilmiş hâli ve dışarıda bıraktıkları.
GPU ve AI altyapısı
LLM çıkarımı için en iyi GPU: H100, H200 ve L40S'yi model boyutuna göre eşleştirme
Model boyutu, hassasiyet, bağlam uzunluğu ve eşzamanlılığa göre LLM çıkarımı için hangi GPU kullanılmalı — Qwen, Llama, DeepSeek ve MiniMax için boyutlandırma rehberi.
GPU ve AI altyapısı
LLM çıkarımı için NVIDIA H100 ve H200: bellek, bant genişliği ve yükseltmenin anlamlı olduğu durumlar
H100 ve H200; teknik özellikler, model sığması, KV önbellek kapasitesi ve Llama, Qwen, DeepSeek çıkarımı için decode bant genişliği tavanlarıyla karşılaştırıldı.
GPU ve AI altyapısı
NVIDIA H100 ve L40S: çıkarım iş yükünüze hangi GPU uyar?
H100 ve L40S; bellek, bant genişliği, FP8 hesaplama ve model sığması açısından türetilmiş decode tavanları ve GPU-saat başına bulut fiyatlarıyla karşılaştırıldı.