Bandingkan AI
Kinerja GPU Sekilas

Ini adalah satu angka relatif yang menunjukkan kinerja GPU dalam inference LLM, pembuatan gambar, dan beban kerja penglihatan secara gabungan, dengan skala sehingga RTX 3090 selalu sama dengan 100. Skor sebesar 200 berarti secara kasar dua kali lipat dari throughput gabungan RTX 3090.

RTX Pro 6000 Blackwell saat ini memimpin peringkat kami dengan Indeks Inferensi AI sebesar 403 — sekitar empat kali lipat throughput inferensi gabungan dari baseline RTX 3090 — dipadukan dengan 96 GB VRAM untuk LLM terbesar tanpa kuantisasi.

RTX 5090 (AI Inference Index 207, 32 GB) dan RTX 4090 (index 133, 24 GB) menawarkan rasio harga terhadap kinerja terkuat untuk inference dan generasi gambar dengan GPU tunggal. Varian RTX 4090 Pro menambahkan 48 GB VRAM untuk model yang lebih besar sambil mempertahankan nilai kelas konsumen.

Untuk LLM terbesar yang disajikan tanpa kuantisasi, kartu data-centre unggulan seperti RTX Pro 6000 Blackwell (96 GB), H200 (141 GB), dan Instinct MI300X (192 GB) memberikan ruang memori yang cukup untuk mempertahankan seluruh model secara resident. Untuk model 8B hingga 30B, satu RTX 5090 atau RTX 4090 menyediakan throughput yang sangat baik dengan biaya yang jauh lebih rendah.

Ya — GPU NVIDIA generasi terbaru dan server AI lengkap tersedia melalui katalog Hardware AI kami, dengan pengiriman DDP ke seluruh dunia dan harga B2B atas permintaan.

Ini adalah salah satu GPU yang paling banyak digunakan yang mampu menjalankan AI, menjadikannya sebagai titik acuan praktis dan dikenal luas untuk membandingkan perangkat keras yang lebih baru dan yang lebih lama.

Tidak. VRAM menentukan ukuran model dan batch yang cocok sama sekali — itu tidak menentukan kecepatan secara sendiri. Sebuah Kartu dengan VRAM yang lebih kecil tetap dapat menunjukkan indeks inferensi yang lebih tinggi jika arsitektur dan bandwidth memorinya lebih kuat.

AMD Instinct MI350X memimpin dengan 288 GB, diikuti oleh MI325X dengan 256 GB. Di antara kartu NVIDIA, B100 SXM menawarkan 192 GB dan H200 menyediakan 141 GB memori dengan bandwidth tinggi. Lebih banyak VRAM memungkinkan Anda memuat model yang lebih besar dan batch yang lebih besar tanpa membaginya di berbagai GPU.

FP16 TFLOPS adalah angka puncak komputasi teoretis yang diterbitkan oleh pabrikan — batas keras perangkat keras. Indeks Inferensi AI adalah skor yang diukur berdasarkan beban kerja yang dibangun dari tolok ukur yang dipublikasikan untuk tugas LLM, gambar, dan penglihatan. Sebuah kartu dapat menunjukkan TFLOPS teoretis yang tinggi tetapi indeks dunia nyata yang lebih rendah ketika bandwidth memori atau dukungan perangkat lunak membatasi kinerjanya.

Keduanya adalah GPU data center arsitektur Hopper yang diberi peringkat sebesar 989,5 FP16 TFLOPS. Perbedaannya terletak pada memori: H200 memiliki 141 GB HBM3e yang lebih cepat dibandingkan dengan 80 GB pada H100, sehingga mampu melayani model yang lebih besar dan jendela konteks yang lebih panjang dengan kecepatan throughput yang lebih tinggi. Untuk sebagian besar implementasi layanan LLM baru, H200 adalah pilihan yang lebih unggul.

Ya. Gunakan Arena perbandingan di halaman ini untuk memilih dua dari 78 GPU kami yang terdaftar dan lihat Indeks Inferensi AI mereka, VRAM, FP16 TFLOPS, dan throughput pelatihan secara berdampingan, dengan pemenang dari masing-masing metrik disorot.

Pelatihan jauh lebih memerlukan memori dan komputasi dibandingkan inferensi, sehingga lebih menguntungkan penggunaan kartu flagship dengan VRAM besar dan TFLOPS FP16 tinggi seperti kelas H100, H200, B200 atau Instinct MI300X. Kolom Throughput Pelatihan kami menunjukkan gambar per detik dengan satu GPU di mana terdapat tolok ukur yang dipublikasikan — misalnya 1.396 gambar/detik pada A100 40GB versus 905 pada RTX 3090.

Ya. Selain 78 GPU individual, kami mencantumkan 48 server AI multi-GPU lengkap, termasuk sistem kelas HGX dan DGX yang dibangun dengan akselerator H100, H200, dan Blackwell, siap untuk pelatihan skala besar dan inferensi produksi. Hubungi kami untuk konfigurasi dan harga B2B.

Ketiga hal tersebut sudah tercakup. Selain lini NVIDIA lengkap, kami juga menyertakan akselerator AMD Instinct (MI350X, MI325X, MI300X, MI250X) dan kartu Radeon, serta Intel Gaudi 3 dan Arc, sehingga Anda dapat membandingkan berbagai vendor melalui satu indeks yang konsisten.

Setiap angka diambil dari data benchmark dan data pabrikan yang dipublikasikan secara terbuka, digabungkan ke dalam indeks yang konsisten untuk referensi. Hasil di dunia nyata bervariasi tergantung pada tumpukan perangkat lunak, driver, ukuran batch, dan beban kerja, jadi anggap angka tersebut sebagai panduan perbandingan daripada jaminan kinerja.

Kami meninjau dan memperbarui angka-angka seiring peluncuran generasi GPU baru dan saat data benchmark yang lebih banyak tersedia.