Şirketinizde biri, kendi donanımınız üzerinde AI çalıştırma zamanının geldiğine karar verdi. Belki iç belgelerinizi bilen özel bir sohbet botu istiyorsunuz, ürün ekibi için bir görüntü hattı veya ölçekli faturaları okuyan bir model. Ve şimdi, GPU'ları karşılaştıran kişi sizsiniz — TFLOPS, VRAM ve bağlantı kısaltmalarıyla dolu teknik sayfalara bakarken, her satıcı en hızlı olduğunu iddia ediyor.
Bu rehber tam da bu an için yazılmıştır. Açık bir dille anlatılıyor, GPU kıyaslamalarının aslında neleri ölçtüğü, yapay zeka çalışmaları için hangi sayıların önemli olduğu ve hangi sayıların güvenle dikkate alınmayacağı, ayrıca kullanım durumunuza gerçekten ne kadar donanım gerektiğini nasıl hesaplayacağınız açıklanıyor. Bu kitabın sonunda herhangi bir GPU teknik özellik sayfasını okuyabilecek, iki kartı kendi başınıza karşılaştırabilecek ve beş veya altı haneli bütçenizi yatırmadan önce hangi soruları sormanız gerektiğini tam olarak bileceksiniz.
Bir GPU Benchmark'ı Gerçekten Sizi Ne Söyler
Bir kıyaslama, tekrarlanabilir bir testtir: aynı görev, aynı koşullar altında, farklı donanımlarda çalıştırılır. Görev değişmediği için sonuçlar adil bir şekilde karşılaştırılabilir — kart A bu iş yükünü bu kadar hızlı tamamladı, kart B ise o kadar hızlı tamamladı. Bir kıyaslama budur ve alıcının sahip olduğu en kullanışlı araçtır.
Bu önemli çünkü sadece teknik özellikler sayfası sorunuza cevap veremez. Üreticiler, mükemmel laboratuvar koşulları altında bir çipin sağlayabileceği teorik maksimumları yayınlar. Gerçek yapay zeka çalışmaları daha karmaşıktır: veriler belleğe giriş ve çıkış yapmalı, yazılım ek yük getirir ve farklı görevler kartın farklı bölümlerine yük bindirir. Benzer teknik özelliklere sahip iki GPU, gerçek bir dil modeli çalıştırdığında çok farklı davranabilir.
İşte bu yüzden iş yükü karşılaştırmaları, okunması gereken önemli sayılardır. Soyut bir puan yerine, AI donanımının gün boyunca gerçekten yaptığı işleri ölçerler: bir dil modeliyle metin üretmek, bir difüzyon modeliyle görüntü oluşturmak ve görüntüleri okumak veya analiz etmek. Planlanan kullanım durumunuz iş yüküyle eşleşiyorsa, karşılaştırma size gerçekten bir şeyler anlatır.
Bir dürüst sınırlama, başlangıçta: benchmark'lar referans noktalarıdır, garanti değildir. Sonuçlar sürücü sürümleri, yazılım çerçeveleri, grup boyutları ve model ayarlarıyla değişir. Ciddi bir karşılaştırma — bizim de dahil olduğumuz — kamuya açık yayınlanan benchmark verilerinden oluşturulur ve her zaman böyle söyleyecektir. Bu rehberdeki ve herhangi bir karşılaştırma sayfasındaki her sayıya, vaat edilen sonuç yerine yönlendirme olarak yaklaşın.
Reading a benchmark chart: one baseline, proportional bars, and a healthy dose of context.
Yapay Zeka Donanımlarını Karşılaştırırken Önemli Olan 13 Terim
Doğru GPU'yu almak için mühendislik derecesine ihtiyacınız yok. Bir gerçek satın alma kararında sizinle buluşacak olan on üç terim, burada sıralanmıştır.
Model ve ihtiyaçları
Inference runs the model. Training teaches it — and typically needs two to four times the memory.
Hızı hissedebilirsiniz
Gizlenmiş darboğaz
ölçeklenme ve maliyet
Bu terimlerin her biri, veri setimizde bir sütun veya etiket olarak görünmektedir.GPU karşılaştırma tablosu, bu nedenle soyut tanımlamalar yerine gerçek kartlara bağlandıklarını görebilirsiniz.
Gerçekten Ne Kadar GPU'ya İhtiyacınız Var?
Model boyutu taban çizgisini belirler. Yaygın olarak yayımlanan yaklaşık bir tahmin: tam FP16 hassasiyetinde, bir Model yaklaşık 2 GB VRAM gerektirir her milyar parametre için. Kuantizasyon bu alanı küçültür — INT8 yaklaşık yarısı, INT4 yaklaşık dörtte biri. Ağırlıkların gerektirdiklerine ek olarak, önbellekler ve aktivasyonlar için yaklaşık yüzde 15 ila 20 fazladan planlayın ve uzun bağlam pencereleri istiyorsanız daha fazla ayarlayın.
Bu tabloyla ilgili iki pratik not. Birincisi, bunlar ağırlıklar ve normal overhead için yaklaşık tahminlerdir — uzun bir bağlam penceresi veya büyük bir toplu daha fazladır. İkincisi, eğitim her şeyi değiştirir: bir modeli öğretmek veya ince ayar yapmak genellikle yürütmekten iki ila dört kat daha fazla bellek gerektirir, çünkü gradyanlar ve optimizasyon durumu, ağırlıkların yanında VRAM'da bulunur.
Hız, benzer bir mantık izler. Çıkarım işlemi sırasında, bellek bant genişliği genellikle tokenların ne kadar hızlı ortaya çıktığını belirler; bu nedenle HBM belleğe sahip veri merkezleri kartları, büyük modellerde TFLOPS avantajlarından bir hayli daha hızlı görünür.
The memory ladder: what common model sizes need at full precision versus quantized to INT4.
Hesaplamalardan kaçınmak istiyorsanız, her kartı dört pratik sınıfa ayırdık — prototipleme için giriş donanımından 70B üzeri üretim hizmeti veren amiral gemisi kartlara kadar — içinde.Karşılaştırma sayfasındaki iş yükü seviyeleri.
Hangi GPU'nun Daha İyi Olduğunu Nasıl Anlarım: 4 Soru İçeri̇kli Kontrol Listesi
İki kart listenizde olduğunda, dört soru neredeyse her karşılaştırmayı çözer.
Karşılaştırmayı büyük ölçüde kolaylaştıran bir numara daha var: indeksleme. Dört teknik özellik sayfasını elinizde tutmak yerine, her kartı tek bir ölçekte toplayın. Karşılaştırma sayfamız, her GPU'yu LLM çıkarımı, görüntü üretimi ve görsel iş yükleri açısından puanlar ve ardından her şeyi RTX 3090'ı 100 puanlık temel alınarak indeksler — 200 puanlık bir skor, bu iyi bilinen kartın toplam veri aktarım hızının yaklaşık iki katı anlamına gelir. Birdenbire hangi kartın daha iyi olduğu sorusunun cevabı tek bir bakışta ortaya çıkar.
One scale for every card: when the RTX 3090 is 100, a 403 speaks for itself.
Tam indekslenmiş alanı tamamen görebilirsiniz.78-GPU tablosuveya doğrudan ...'ye atlayınher iki kartın doğrudan karşılaşmasıH100 ile H200 sorusu, örneğin, birkaç saniye içinde çözülür: kağıt üzerinde aynı hesaplama, ancak H200'de H100'e kıyasla 80 GB yerine 141 GB daha hızlı bellek bulunmaktadır.
Karşılaştırmak için ücretsiz bir yol: GPU Benchmark Aracı'nın içi
Tam şeffaflık: Burada bahsedilen araç bizimdir. Ücretsizdir, herhangi bir kayıt gerektirmez ve müşteriler için aynı karşılaştırma sorularını elle yanıtlamaya devam ettiğimiz için mevcuttur. İşte her bir parçanın yaptığı — ve yapamadığı şeyler dahil.
78-GPU tablosu
Her cari mevcut tüm kartlar sıralanabilir bir tabloda: VRAM, orantılı çubukla AI İnference Endeksi, teorik FP16 TFLOPS, varsa yayımlanmış eğitim verimliliği ve her kartın en iyi olduğu alan hakkında sade dilde not. VRAM sınıfına göre filtreleyin, ada göre arama yapın ve herhangi bir sütunu sıralayın.şu an ilk üçün sıralamasısabırsızlar için onun üstünde duruyor.
Dürüst sınırlaması: GPU tablosu kasıtlı olarak fiyatları göstermez. AI donanımı için piyasa fiyatları haftalık olarak değişir ve güncel olmayan bir fiyat, hiç olmamasından daha kötüdür — fiyatlandırma teklifte yapılır, statik bir tabloda değil.
Karşılaşma arenası
İki kart seçin ve ardındanarenaVRAM, çıkarım dizini, FP16 hesaplama ve eğitim verimliliğini aynalanmış çubuklar olarak yan yana koyar; ayrıca açık İngilizceyle tek cümlelik yazılı bir yargı içerir. Bu, iki listelenmiş kart arasında içsel bir tartışmayı çözmenin en hızlı yoludur.
Sınırlaması: Yargı, yayımlanan endeksi yansıtır ve tam yazılım yığınınızı göstermez. Endekste üstün gelen bir kart, belirli çerçeve veya model sürümünüzde kaybedebilir — bu yüzden yargı, bir laboratuvar raporuymuş gibi davranmak yerine marjını belirtir.
The arena in three steps: pick two cards, compare the bars, read the verdict.
Tamamlanmış 48 Yapay Zeka Sunucusu
Bir kart yeterli olmadığında, karşılaştırma birimi değişir: Çok GPU'lu bir sunucu, toplam hafıza ve toplam hesaplama gücü açısından değerlendirilir.sunucu bölümü8-GPU raf sistemlere kadar kompakt çalışma istasyonlarından tam sistemlere kadar 48 tam sistemi listeleyen bu liste, toplam VRAM ve toplam FP16 hesaplamasını tek kartlarla aynı ölçekle hesaplayarak, sayıların tüm sayfa boyunca karşılaştırılabilir kalmasını sağlar.
Seviyeler, metodoloji ve detaylar
Theiş yükü seviyeleridonanım sınıflarını basit kullanım durumlarına çevirin — Flagship 70B ve üzeri çok kiracılı servisler için, High-End 30B ile 70B arasında üretim işleri için, Mid-Range 8B ile 30B arası sektörler için, Entry prototip ve öğrenme amaçlıdır. Yöntemoloji açıkça yayınlanmıştır: yalnızca kamuya açık anonim kıyaslama verileri, üç gerçek iş yükü ailesi, hepsi RTX 3090’a göre 100 ile indekslenmiştir. Ve sayfa kendi sorumluluk reddini yineler, ki biz burada tekrar edeceğiz: referans veriler doğrulama amacıyla olup performans garantisi değildir. A16 soruluk SSSkapsamaktadır detayları.
İlk Kez Alıcıların Yaptığı Beş Hata
Kısaltmadan Teklife: Hazırlanması Gerekenler ve Sonraki Adımlar
Bir noktada elektronik tablo aşaması sona erer ve bir tedarikçiyle görüşürsünüz. Konuşma kısa ve verimli olur eğer beş gerçek getirirseniz:
İşte bizimle nasıl çalıştığını açıkça belirtiyoruz: Soruyu bizimle iletirken,Karşılaştırma sayfasındaki formveya WhatsApp veya Telegram üzerinden iletişime geçebilirsiniz ve genellikle yaklaşık iki saat içinde yanıt veren gerçek bir mühendis — bot değil. Sayfada listelenmiş olan 78 GPU ve 48 sunucu kamuya açık şekilde listelenmiştir; bunun ötesinde tedarik sağlayabiliriz, B2B ve hacim fiyatları teklif edebilir, dünya genelinde gönderim yapabilir ve gümrük işlemlerini halledebilir veya donanımı Hoster'larımızda sizin için çalıştırabiliriz. Ve kendimizi dürüstçe konumlandırmak gerekirse: MillionMiner bir satıcı ve Hoster'dır, üretici değil — bu nedenle öneri herhangi bir tek markaya bağlı değildir.
Sıkça Sorulan Sorular
Yapay Zeka sunucusu satın almak için yerinde donanım uzmanlığına ihtiyacınız var mı?
Hayır. Yukarıdaki beş hazırlık sorusuna — model, kullanıcılar, gecikme, çıkarım veya eğitim, konum — cevap verebilirseniz, yetkin bir tedarikçi bunları donanıma çevirebilir. Bu rehberdeki kelime dağarcığı, onların muhakemesini kontrol edebilmeniz için vardır, yoksa onların işini yapmanız için değil.
GPU satın almalıyız mı yoksa bulut ortamında mı kiralamalıyız?
Yaygın şekilde yayımlanmış bir desen: sürekli yüksek kullanımda çalışan iş yükleri, sahip olunan donanımı şaşırtıcı derecede hızlı bir şekilde geri öderken, ani veya deneysel iş yükleri kiralamayı tercih eder. Birçok işletme ortada kalır — donanımı sahiplenip barındırmadan, bu da öngörülebilir maliyet ile tesis işleri olmadan birleşir. Gerçekçi kullanım oranlarınız üzerine hesaplama yapmadan karar vermeyin.
Kuantize edilmiş bir model belirgin bir kalite kaybına yol açar mı?
Yayınlanan değerlendirmeler, FP8'in çoğu görev için tam hassasiyetle neredeyse ayırt edilemez olduğunu ve INT4'ün ise küçük, görev bağımlı bir takas olduğunu sürekli olarak göstermektedir. Akıllıca olan, donanımı boyutlandırmadan önce, kullanmayı planladığınız kuantizasyon seviyesinde kendi özel kullanım durumunuzu test etmektir.
Teklif istemeden önce hangi bilgileri hazırlamalıyız?
Model ve boyutu, beklenen eşzamanlı kullanıcı veya istek hacmi, gecikme beklentiniz, eğitim gerekli olup olmadığı ve envanterin hangi ortamda bulunması gerektiği. Beş cevap — tüm ödev budur.
Bir sonraki GPU nesli için mi beklemeliyiz?
Her zaman bir sonraki nesil vardır. İki-üç yıllık bir çalışma yükü ufku için satın alın: bugün mevcut olan donanım, mevcut ve kısa vadeli modellerinizle hafif bir alan bırakarak hizmet ediyorsa, beklemek çoğunlukla yakalamadığınız değerin aylarıyla maliyetlidir. Yeni nesiller genellikle mevcut imkanları değiştirmek yerine belleği ve verimliliği artırmaya yönelir.
Sonuç
Model boyutu, bellek zeminizi belirler. Bellek bant genişliği ise gerçek dünya hızınızı belirler. Kıyaslamalar — referans verileri olarak okunur ve bir temel referansa göre indekslenir — herhangi iki aday arasındaki karşılaştırmayı netleştirir. Geri kalan her şey, kendi iş yükünüz üzerinde yapılan aritmetiktir.
Sayılara isim verdiğinizde,GPU ve AI sunucu karşılaştırmasıTüm alanı bir ölçek üzerinde gösterir veYapay Zeka donanım kataloğuşu anda stokta ne olduğunu gösterir.
