İçeriğe geç
Cloud Provider Benchmarks

Metodoloji

Hesaplama benchmark metodolojisi

Bulut sanal makinelerinde CPU tek ve çok iş parçacıklı verim, bellek bant genişliği ve hazırlama süresinin nasıl ölçüldüğü ve sonuçların nasıl doğrulandığı.

Sürüm 1.0 Güncellendi:

Kapsam

  • vCPU başına 4 GB RAM ile 2, 4 ve 8 vCPU'lu genel amaçlı sanal makineler veya yayımlanmış en yakın yapılandırma
  • CPU tek iş parçacıklı ve çok iş parçacıklı verim (sysbench cpu)
  • Bellek bant genişliği (sysbench memory)
  • API isteğinden SSH erişilebilirliğine kadar hazırlama süresi
  • Kısıtlama (throttling) veya gürültülü komşuları tespit etmek için sürekli yük altındaki davranış (stress-ng)
Araçlar
Araç Sürüm
sysbench 1.0.20
stress-ng Her çalıştırmada kaydedilir

Instance seçimi

Her sağlayıcı için hedef vCPU ve belleğe en yakın yapılandırma genel amaçlı aileden seçilir. Paylaşımlı vCPU (burstable) ve ayrılmış vCPU teklifleri ayrı ayrı test edilir ve hiçbir zaman tek bir karşılaştırmada birleştirilmez. Instance türü, bölge, /proc/cpuinfo tarafından bildirilen CPU modeli, kernel sürümü ve imaj her çalıştırmayla birlikte kaydedilir.

İmaj ve hazırlık

  • Sağlayıcının resmi imaj kataloğundan Ubuntu 24.04 LTS.
  • Paketler açılışta güncellenir; varsayılanların ötesinde ayar yapılmaz.
  • Ölçümler başlamadan önce açılıştan sonra 5 dakikalık boşta bekleme süresi.

Prosedür

  1. Hazırlama süresi. Oluşturma API çağrısında bir zaman damgası; TCP 22 numaralı port bağlantı kabul ettiğinde bir zaman damgası alınır. 5 instance için tekrarlanır.
  2. CPU tek iş parçacığı. sysbench cpu --threads=1 --time=60 run; events per second değeri kaydedilir.
  3. CPU çok iş parçacığı. Aynısı, --threads vCPU sayısına eşit olacak şekilde.
  4. Bellek bant genişliği. sysbench memory --memory-block-size=1M --memory-total-size=100G --threads=<vCPU> run.
  5. Sürekli yük. stress-ng --cpu <vCPU> --timeout 15m ve hemen ardından sürekli yük sonrasındaki verimi karşılaştırmak için 3. adımın tekrarı.

Tekrarlar ve istatistikler

Her ölçüm, ayrı ayrı hazırlanmış 3 instance’ın her birinde 5 kez çalıştırılır (15 örnek). Medyan; minimum, maksimum ve varyasyon katsayısıyla birlikte yayımlanır. %10’un üzerindeki varyasyon katsayısı sonuçta işaretlenir.

Doğrulama

Bir sonuç, yalnızca ikinci bir operatör prosedürü yeni bir instance üzerinde yeniden çalıştırdığında ve medyan orijinal değerin ±%5’i içinde kaldığında doğrulama bekliyor durumundan doğrulandı durumuna geçer. Ham araç çıktısı sonuçla birlikte saklanır.

Sınırlamalar

  • sysbench CPU, sentetik bir asal sayı iş yüküdür; her uygulamayı temsil etmez.
  • Sonuçlar test edilen bölge ve tarih için geçerlidir; sağlayıcılar donanımı haber vermeden değiştirir.
  • Paylaşımlı vCPU sonuçları, çalıştırma anındaki komşu yüküne bağlıdır.

Bu yöntemi kullanan benchmarklar

Diğer yöntemler