İçeriğe geç
Cloud Provider Benchmarks

GPU ve AI altyapısı

NVIDIA H100 ve L40S: çıkarım iş yükünüze hangi GPU uyar?

H100 ve L40S; bellek, bant genişliği, FP8 hesaplama ve model sığması açısından türetilmiş decode tavanları ve GPU-saat başına bulut fiyatlarıyla karşılaştırıldı.

Yayımlandı: Güncellendi: Read in English

Kısa yanıt

L40S'i küçük modeller (FP8 ile yaklaşık 14B parametreye kadar), düşük ve orta düzey eşzamanlılık ve daha düşük saatlik fiyatının önemli olduğu görsel iş yükleri için kullanın. H100'ü 30B+ modeller, uzun bağlamlar, yüksek eşzamanlılıkta gecikmeye duyarlı servis veya çoklu GPU'lu her türlü tensor parallel dağıtım için kullanın.

Yönetici özeti

L40S, 864 GB/s hızında 48 GB GDDR6 belleğe sahip bir Ada Lovelace PCIe kartıdır; H100 SXM ise 3,35 TB/s hızında 80 GB HBM3 belleğe ve NVLink'e sahip bir Hopper parçasıdır. H100, yaklaşık 3,9× bellek bant genişliği ve 2,7× yoğun FP8 Tensor Core verimi sunar. L40S; 7B–14B modeller, görüntü üretimi ve karma grafik/yapay zekâ işleri için maliyet odaklı bir seçenektir; H100 ise 30B+ modeller, yüksek eşzamanlılık ve çoklu GPU ile servis için daha uygundur.

Temel bulgular

  1. 01 Bellek bant genişliği yaklaşık 3,9× farklıdır (3.350 ve 864 GB/s); bu nedenle FP8 ile 8B model için tek dizi decode tavanı H100 SXM'de yaklaşık 417 token/s, L40S'te ise yaklaşık 108 token/s'dir.
  2. 02 FP8 ile 32B yoğun model tek L40S'e yalnızca yaklaşık 8 GB KV bütçesiyle sığar — buradaki varsayımlarla yaklaşık üç eşzamanlı 8K token'lık dizi.
  3. 03 L40S'te NVLink ve MIG yoktur; çoklu GPU ile servis PCIe kullanır ve bu da tensor parallel ölçeklemeyi sınırlar.
  4. 04 Yayımlanmış L40S liste fiyatları aynı sağlayıcıda GPU-saat başına H100 fiyatlarından düşüktür; ancak bant genişliği birimi başına fiyat çoğu zaman H100 lehinedir.

İki farklı tasarım noktası

H100, HBM belleğe ve NVLink’e sahip bir veri merkezi eğitim ve çıkarım hızlandırıcısıdır. L40S ise Ada Lovelace üzerine kurulu evrensel bir veri merkezi GPU’sudur: GDDR6 belleğe, RT çekirdeklerine ve video motorlarına ek olarak FP8 destekli Tensor Core’lara sahip bir PCIe kartıdır. Çıkarımda örtüşürler, ancak her model boyutunda birbirlerinin yerine geçmezler.

GPU spesifikasyonları (NVIDIA veri sayfaları)
GPU Mimari Bellek (GB) Bellek tipi Bant gen. (GB/s) FP8 (TFLOPS) BF16 (TFLOPS) FP32 (TFLOPS) Bağlantı TDP MIG
H100 SXM5 SXM5 Hopper 80 HBM3 3.350 1.979 989 67 NVLink 4 900 GB/s Up to 700 W Up to 7 MIGs @ 10 GB
L40S PCIe dual-slot Ada Lovelace 48 GDDR6 (ECC) 864 733 362 91,6 PCIe only 350 W Not supported

Tensor değerleri yoğun (seyrek olmayan) tepe değerleridir; NVIDIA seyrekli değerleri bunun iki katı olarak yayımlar.

Özellik H100 SXM L40S H100 ÷ L40S
Bellek 80 GB HBM3 48 GB GDDR6 1,67×
Bant genişliği 3.350 GB/s 864 GB/s 3,88×
FP8 yoğun TFLOPS 1.979 733 2,70×
Bağlantı NVLink 900 GB/s Yalnızca PCIe Gen4 —

Model sığması

FP8’de ağırlıklar parametre başına yaklaşık bir bayt yer kaplar. 48 GB cihaz belleğiyle L40S’in standart varsayımlar (%90 kullanım, %5 pay) altındaki kullanılabilir bütçesi yaklaşık 41 GB’tır; bu nedenle yaklaşık 14B parametreye kadar olan modeller anlamlı miktarda KV önbellek alanı bırakır. 32B’lik bir model sığar, ancak eşzamanlı diziler için az yer kalır.

Model bellek gereksinimleri ve minimum GPU sayısı (FP8 ağırlıklar)
Model Parametre (B) BF16 (GB) FP8 (GB) INT4 (GB) KV / token (KiB) KV @32K (GB) Min. H100 SXM5Min. L40S
Llama 3.1 8B Instruct Yoğun · GQA 8 16 8 4 128 4,3 1×1×
Llama 3.3 70B Instruct Yoğun · GQA 70,6 141 71 35 320 10,7 2×2×
Qwen2.5 7B Instruct Yoğun · GQA 7,6 15 8 4 56 1,9 1×1×
Qwen3 32B Yoğun · GQA 32,8 66 33 16 256 8,6 1×1×
Qwen3 30B-A3B MoE · 3,3B aktif · GQA 30,5 61 31 15 96 3,2 1×1×

Ağırlık boyutu = parametre × hassasiyet baytı. KV = 2 × katman × KV başlığı × başlık boyutu × 2 bayt (MLA için latent boyutu). Minimum GPU: %85 kullanılabilir bellek ve GPU başına en az 4 GB KV payı. Ölçüm değil, kapasite modelidir.

Llama 3.1 8B Instruct · FP8 · 1× L40S Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 32.8 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ ✓ ✓ ✓ — — 30
16K ✓ ✓ ✓ — — — 15
32K ✓ ✓ — — — — 7
64K ✓ — — — — — 3
128K ✓ — — — — — 1

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Decode tavanları

Decode her token için etkin ağırlıkları bellekten okuduğundan, düşük batch boyutlarında üst sınırı bant genişliği belirler. Oran neredeyse tam olarak bant genişliğini izler.

Tek akışlı decode için bellek bant genişliği tavanı (FP8, tok/s) Teorik üst sınır — ölçüm değil
Model H100 SXM5L40S
Llama 3.1 8B Instruct 417 108
Qwen2.5 7B Instruct 440 114
Qwen3 32B 102 26
Qwen3 30B-A3B 1.015 262

Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.

Qwen3 30B-A3B gibi mixture-of-experts modeller ilginç bir ara durumdur: token başına yalnızca yaklaşık 3,3B parametre etkindir, bu nedenle decode tavanı L40S’te bile yüksektir — ancak 30,5B parametrenin tamamının yine de belleğe sığması gerekir.

GPU-saat başına fiyat

Yayımlanmış GPU-saat liste fiyatları
Sağlayıcı GPU GPU-saat GB-saat Esas
PortvMind NVIDIA H100 ₺195,835 ₺2,4479 gpu.h100s.xlarge (1× H100) saatlik liste fiyatı, tr-ist-01, vergiler hariç. Çoklu GPU profillerinde GPU-saat başına ₺141,12'den başlar (3× ve 4× profiller). · 6 Kasım 2026
DigitalOcean NVIDIA H100 $4,410 $0,0551 İsteğe bağlı, 1× H100 GPU Droplet. · 6 Kasım 2026
DigitalOcean NVIDIA L40S $1,570 $0,0327 İsteğe bağlı, 1× L40S GPU Droplet. · 6 Kasım 2026
Vultr NVIDIA H100 $2,300 $0,0287 İsteğe bağlı "başlangıç" GPU başı fiyatı, 8 GPU'lu HGX konfigürasyonu. · 6 Kasım 2026
Vultr NVIDIA L40S $1,671 $0,0348 İsteğe bağlı GPU başı fiyat, 1× L40S. · 6 Kasım 2026

Her ikisinin de listelendiği her yerde L40S saatlik olarak daha ucuzdur. Fiyatı bellek bant genişliğine bölmek, decode kapasitesi birimi başına kabaca bir maliyet verir; bu temelde fark daralır veya tersine döner, çünkü H100 neredeyse dört kat bant genişliği sunar. Doğru yanıt, iş yükünüzün GPU’yu doyurup doyurmadığına bağlıdır.

Hangi GPU ne zaman uygun

  • L40S: 7B–14B sohbet veya embedding modelleri, orta düzey eşzamanlılıkla retrieval-augmented generation, Stable Diffusion sınıfı görüntü üretimi, yapay zekâ ile son işleme yapılan video dönüştürme ve geliştirme ortamları.
  • H100: 30B–70B modeller, uzun bağlamlı iş yükleri, katı gecikme hedeflerine sahip yüksek eşzamanlılıklı API’ler, ince ayar (fine-tuning) ve NVLink üzerinden tensor parallel servis.

Metodoloji

Türetilmiş değerler GPU ve LLM çıkarım metodolojisindeki formülleri kullanır. Ölçülmüş çalıştırmalar L40S ve H100 benchmark sayfalarında yer alır.

Sınırlamalar

  • H100 PCIe varyantı (2,0 TB/s) bant genişliği farkını yaklaşık 2,3×’e daraltır; sağlayıcılar hangi varyantı kullandıklarını her zaman belirtmez.
  • Prefill ağırlıklı iş yükleri (uzun prompt’lar, kısa yanıtlar) bant genişliğinden çok hesaplama gücüne bağlıdır.
  • Seyrek (sparse) TFLOPS değerleri kullanılmamıştır; tüm hesaplama değerleri yoğun (dense) değerlerdir.
  • Fiyatlar erişim tarihindeki liste fiyatlarıdır ve taahhütlü kullanım indirimlerini içermez.

Sonuç

Model küçük olduğunda ve iş yükü bant genişliğini doyurmadığında L40S makul ve daha düşük maliyetli bir seçimdir. Modeller 30B parametreye ulaştığında, bağlamlar uzadığında veya eşzamanlılık arttığında H100’ün bellek kapasitesi, bant genişliği ve NVLink’i onu daha öngörülebilir bir platform hâline getirir.

Sık sorulan sorular

L40S, LLM çıkarımı için iyi mi?

Küçük modeller için evet. FP8 ile 8B model, tek L40S'te yaklaşık 33 GB KV bütçesi bırakır. 30B+ modellerde 48 GB kapasite ve 864 GB/s bant genişliği sınırlayıcı hâle gelir ve PCIe üzerinden bağlı iki veya daha fazla kart gerekir.

L40S FP8'i destekliyor mu?

Evet. L40S, Transformer Engine aracılığıyla FP8 desteği sunan dördüncü nesil Tensor Core'lara sahiptir; tepe verimi H100'den düşüktür.

Neden saatlik fiyat yerine GB/s başına fiyat karşılaştırılıyor?

Token üretimi genellikle bellek bant genişliğine bağlıdır; bu nedenle bayt taşımanın maliyeti, decode maliyeti için tek başına saatlik fiyattan daha iyi bir birinci derece göstergedir. Yine de bir göstergedir — kesin ölçüt, ölçülmüş milyon token başına maliyettir.

Kaynaklar

  1. [1] NVIDIA H100 Tensor Core GPU — NVIDIA Üretici veri sayfası erişim:
  2. [2] NVIDIA L40S GPU — NVIDIA Üretici veri sayfası erişim:
  3. [3] DigitalOcean GPU Droplet pricing — DigitalOcean Resmî dokümantasyon erişim:
  4. [4] Vultr Cloud GPU — NVIDIA L40S — Vultr Resmî dokümantasyon erişim:
  5. [5] Amazon EC2 G6e instances — AWS Resmî dokümantasyon erişim: