İçeriğe geç
Cloud Provider Benchmarks

Benchmarklar · GPU ve AI

NVIDIA L40S bulut benchmarkları: maliyet etkin çıkarım için 48 GB Ada GPU

L40S, 864 GB/s’de 48 GB GDDR6 ve FP8 Tensor Core’lara sahip, NVLink ve MIG içermeyen bir Ada Lovelace PCIe GPU’sudur. Düşük fiyatı ve güç tüketimi onu küçük ve orta ölçekli modeller, embedding, görüntü üretimi ve karma grafik ile AI iş yükleri için cazip kılar.

Güncellendi:

Kısa yanıt

L40S, tek GPU’da 7B–8B modelleri BF16’da, yaklaşık 32B’ye kadar modelleri FP8 veya INT4’te sunar. 864 GB/s bant genişliği H100 SXM tek akış decode tavanının yaklaşık dörtte birini verir; bu nedenle gecikmeye toleranslı veya daha küçük model iş yüklerine uygundur. İzlenen sağlayıcılardan PortvMind Cloud, AWS, DigitalOcean ve Vultr L40S sunar.

Ne ölçülür

  • 1, 2, 4 ve 8 GPU’da çalıştırılabilir model × bağlam × eşzamanlılık senaryoları
  • Bellek bant genişliğinden tek akış decode tavanı
  • Sağlayıcı erişilebilirliği ve yayımlanmış GPU-saat liste fiyatları
  • Doğrulanmış vLLM sunum çalıştırmaları (yayımlandığında)

Genel bakış

L40S; 864 GB/s hızında 48 GB GDDR6 (ECC), FP8 destekli dördüncü nesil Tensor Core'lar ve üçüncü nesil RT çekirdekleri olan bir PCIe karttır. Yoğun FP8 verimi H100 SXM'in kabaca %37'si, bellek bant genişliği ise kabaca %26'sıdır. NVLink'i yoktur ve MIG desteklemez; çoklu GPU çıkarımı PCIe üzerinden çalışır. BF16'da 7B–14B sınıfı modeller, nicemlenmiş 30B sınıfı modeller, embedding ve reranking servisleri, difüzyon modelleri ve karma grafik/AI iş yükleri için uygundur.

Uygun iş yükleri

  • BF16'da 7B–14B modellerin ve nicemlenmiş ~30B modellerin çıkarımı
  • Embedding, reranking ve görüntü modelleri
  • Görüntü ve video üretimi, render ve grafik
  • Küçük modellerin maliyet duyarlı fine-tuning'i (LoRA/QLoRA)

Dikkat edilecekler

  • 864 GB/s bant genişliği tek akışlı decode hızını Hopper GPU'ların oldukça altında sınırlar
  • NVLink yok; kartlar arası tensor parallelism PCIe Gen4 kullanır
  • MIG yok; paylaşım vGPU veya zaman dilimleme ile yapılır

Spesifikasyonlar

GPU spesifikasyonları (NVIDIA veri sayfaları)
GPU Mimari Bellek (GB) Bellek tipi Bant gen. (GB/s) FP8 (TFLOPS) BF16 (TFLOPS) FP32 (TFLOPS) Bağlantı TDP MIG
L40S PCIe dual-slot Ada Lovelace 48 GDDR6 (ECC) 864 733 362 91,6 PCIe only 350 W Not supported

Tensor değerleri yoğun (seyrek olmayan) tepe değerleridir; NVIDIA seyrekli değerleri bunun iki katı olarak yayımlar.

NVIDIA L40S sunan sağlayıcılar

Sağlayıcılara göre GPU erişilebilirliği ve yayımlanmış GPU-saat fiyatları
Sağlayıcı NVIDIA L40S Türkiye altyapısı
PortvMind Cloud Genel kullanımda GPU / AI Compute (L40S option) Mevcut GPU seçeneği olarak listelenir; konfigürasyon ve fiyatlar kamuya açık hesaplayıcı tablosunda yer almaz, konsol veya satış ekibi üzerinden sunulur. Var
Amazon Web Services Genel kullanımda EC2 G6e Sunucu başına 1–8 L40S GPU. Var
DigitalOcean Genel kullanımda GPU Droplet — NVIDIA L40S $1,570 / GPU-h 8 vCPU ve 64 GiB RAM ile 1× L40S 48 GB. Yok
Vultr Genel kullanımda Cloud GPU — NVIDIA L40S $1,671 / GPU-h 1, 2, 4 veya 8× L40S 48 GB; 1× planda 16 vCPU ve 180 GB RAM. Yok

Decode tavanı (teorik)

Bellek bant genişliğinden türetilmiş tek akış üst sınırı. Ölçüm değildir.

Tek akışlı decode için bellek bant genişliği tavanı (FP8, tok/s) Teorik üst sınır — ölçüm değil
Model L40S
Llama 3.1 8B Instruct 108
Llama 3.3 70B Instruct 24 2× TP
Qwen2.5 7B Instruct 114
Qwen3 32B 26
Qwen3 30B-A3B 262
Qwen2.5 72B Instruct 24 2× TP
DeepSeek-R1-Distill-Qwen-32B 26
DeepSeek-V3 sığmaz
MiniMax-M1-80k sığmaz

Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.

Tek akışlı decode için bellek bant genişliği tavanı (BF16, tok/s) Teorik üst sınır — ölçüm değil
Model L40S
Llama 3.1 8B Instruct 54
Llama 3.3 70B Instruct 24 4× TP
Qwen2.5 7B Instruct 57
Qwen3 32B 26 2× TP
Qwen3 30B-A3B 262 2× TP
Qwen2.5 72B Instruct 24 4× TP
DeepSeek-R1-Distill-Qwen-32B 26 2× TP
DeepSeek-V3 sığmaz
MiniMax-M1-80k sığmaz

Tavan = toplam bellek bant genişliği ÷ token başına okunan aktif ağırlık baytı (batch 1, KV okumaları ve iletişim yükü hariç, mükemmel tensor parallelism varsayımı). Gerçek motorlar bu sınırın bir kısmına ulaşır.

Çalıştırılabilir senaryolar

Tek GPU’da hangi bağlam ve eşzamanlılık kombinasyonları belleğe sığar.

Llama 3.1 8B Instruct · BF16 · 1× L40S Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 24.7 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ ✓ ✓ — — — 23
16K ✓ ✓ ✓ — — — 11
32K ✓ ✓ — — — — 5
64K ✓ — — — — — 2
128K ✓ — — — — — 1

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Qwen3 32B · FP8 · 1× L40S Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ 8.0 GB
Bağlam 15102550100 Maks. eşz.
8K ✓ — — — — — 3
16K ✓ — — — — — 1
32K — — — — — — 0
64K — — — — — — 0
128K — — — — — — 0

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Llama 3.3 70B Instruct · FP8 · 1× L40S Çalıştırılabilir senaryo matrisi (KV önbelleği kapasite modeli) · KV budget ≈ -29.8 GB
Bağlam 15102550100 Maks. eşz.
8K ✕ ✕ ✕ ✕ ✕ ✕ 0
16K ✕ ✕ ✕ ✕ ✕ ✕ 0
32K ✕ ✕ ✕ ✕ ✕ ✕ 0
64K ✕ ✕ ✕ ✕ ✕ ✕ 0
128K ✕ ✕ ✕ ✕ ✕ ✕ 0

✓ senaryo bellek modeline sığar · — KV önbelleği aşılır (çalıştırılmaz) · ✕ ağırlıklar sığmaz · n/a model bu bağlamı desteklemez. Model: %90 bellek kullanımı, %5 çalışma zamanı rezervi, 16-bit KV önbelleği.

Doğrulanmış sonuçlar