seseorang memberi tahu Anda bahwa mereka baru saja membeli server AI, dan gambaran mental biasanya salah. Orang membayangkan sebuah desktop yang sedikit lebih besar, mungkin dengan dua graphics card alih-alih satu. Kenyataannya adalah kategori mesin yang berbeda: delapan GPU data centre, masing-masing bernilai lebih dari sebuah mobil, dipasang pada fabric switch yang memungkinkan mereka berpikir sebagai satu otak, dibalut dengan daya dan pendinginan yang cukup untuk menjalankan sebuah kantor kecil. Memahami apa arti sebenarnya dari itu, dan mengapa kata HGX dan DGX terus muncul, adalah perbedaan antara membeli perangkat keras yang tepat dan membayar lebih untuk yang salah.
Panduan ini menjelaskan apa itu server AI, apa yang membedakannya dari server biasa, dan apa arti sebenarnya dari sistem HGX, DGX, dan OEM ketika Anda membelinya. Jika Anda sudah memahami konsepnya dan hanya menginginkan pilihan terbaik, panduan kami untukserver AI terbaikmenyangkut itu. Ini adalah penjelasan yang berada di bawahnya.
Panduan ini menjelaskan apa itu server AI, apa yang membedakannya dari server biasa, dan apa arti sebenarnya dari sistem HGX, DGX, dan OEM ketika Anda membelinya. Jika Anda sudah memahami konsepnya dan hanya menginginkan pilihan terbaik, panduan kami untukserver AI terbaikmenyangkut itu. Ini adalah penjelasan yang berada di bawahnya.
Apa itu server AI, dalam satu kalimat?
Sebuah server AI adalah sistem yang dibangun di sekitar beberapa GPU, biasanya delapan, yang terhubung melalui interkoneksi berkecepatan tinggi sehingga mereka bekerja bersama sebagai satu mesin. Di sekitar GPU terdapat CPU berstandar server, satu hingga empat terabyte memori, penyimpanan cepat, dan jaringan berkecepatan tinggi, semuanya dirancang untuk menjaga agar GPU tetap menerima data. GPU melakukan perhitungan berat dalam melatih dan menjalankan model AI; semua komponen lainnya ada untuk mencegah mereka dari kondisi idle. Itulah seluruh ide dalam satu kalimat, dan sisa panduan ini akan membahas mengapa setiap bagian penting.
Bagaimana perbedaan server AI dengan server biasa?
Sebuah server reguler dibangun di sekitar CPU-nya. Ia menangani banyak tugas kecil dan independen sekaligus, melayani halaman web, menjalankan basis data, memproses permintaan, dan diukur berdasarkan berapa banyak tugas tersebut yang dapat dikelola secara bersamaan. Sebuah server AI membalikkan itu sepenuhnya. CPU hampir berfungsi sebagai pendukung. Pekerjaan utama dilakukan oleh GPU, dan alih-alih banyak tugas kecil, mesin mengarahkan seluruh kekuatannya ke satu pekerjaan besar: melatih atau menjalankan jaringan neural.
Perubahan shift ini mengubah segalanya tentang konstruksi. Sebuah server biasa mungkin tidak memiliki GPU sama sekali; sebuah server AI memiliki delapan GPU paling mahal yang pernah dibuat. Sebuah server biasa membutuhkan daya yang modest dan pendinginan udara; sebuah server AI dapat menarik daya sepuluh hingga empat belas kilowatt dan membutuhkan pendinginan serius agar sesuai. Yang paling penting, sebuah server AI membutuhkan cara agar delapan GPU-nya dapat berkomunikasi satu sama lain dengan kecepatan yang luar biasa, yang merupakan satu-satunya fitur yang membedakan server AI sejati dari sebuah desktop dengan beberapa kartu tambahan. Menghubungkan lebih dari satu kartu dengan benar adalah disiplin tersendiri, yang panduan kami tentangmenyiapkan server AI multi-GPUlangkah demi langkah.
Apa isi dari sebuah server AI?
Menghapus aspek pemasaran dan setiap server AI dibangun dari daftar bagian yang sama. Mengetahui fungsi masing-masing bagian memberi tahu Anda mengapa harganya seperti itu dan di mana hambatan tersembunyi.
- GPU-nya.Delapan akselerator data centre, H100, H200, B200, ataurekannya setara dengan AMDDi sinilah tempat terjadinya perhitungan AI dan di mana sebagian besar harga berada.
- Koneksi antar sistem. NVLink dan NVSwitch, sebuah jaringan yang menghubungkan kedelapan GPU dengan kecepatan 900 gigabyte per detik dan seterusnya, sehingga mereka dapat beroperasi sebagai satu mesin alih-alih delapan pulau.
- CPU dan memori.Dua CPU server dan satu hingga empat terabyte RAM, yang tugasnya mengalirkan data ke GPU cukup cepat sehingga mereka tidak pernah menunggu.
- Penyimpanan dan jaringan.Drive NVMe cepat sehingga dataset dimuat tanpa membuat GPU kekurangan, dan InfiniBand 400 gigabit untuk menghubungkan server ke dalam kluster yang lebih besar.
Urutan pentingnya mengejutkan orang. Koneksi antar perangkat sama pentingnya dengan GPU, karena delapan kartu cepat yang tidak dapat berkomunikasi satu sama lain dengan cepat akan berperilaku seperti delapan kartu lambat. Itulah mengapapenyimpanan cepat dan bandwidth memoribukan sekadar pemikiran tambahan pada server AI; mereka adalah perbedaan antara GPU yang berjalan penuh dan GPU yang menunggu data.
Mengapa koneksi antar sistem sangat penting?
Ini adalah konsep yang paling sering membingungkan pendatang baru, jadi patut untuk memperlambatnya. Ketika GPU melatih sebuah model bersama, mereka tidak bisa bekerja sendiri-sendiri. Pada setiap langkah, mereka harus berhenti dan berbagi hasil mereka satu sama lain sebelum melanjutkan. Jika proses berbagi tersebut lambat, seluruh mesin berjalan secepat percakapan yang paling lambat, dan menambahkan GPU kesembilan atau kesepuluh tidak akan membantu.
NVLink dan NVSwitch menyelesaikan ini dengan menghubungkan GPU pada kecepatan yang satu tingkat lebih tinggi dibandingkan slot PCIe yang digunakan di desktop. Itulah alasan mengapa server dengan delapan GPU bernilai jauh lebih tinggi daripada delapan GPU terpisah di delapan mesin berbeda: jaringan memungkinkan mereka berfungsi sebagai satu kesatuan. Ketika Anda membandingkan theGPU Rechenzentrum saat ini, generasi interkoneksi adalah bagian yang sama pentingnya dari cerita ini seperti chip itu sendiri, dan inilah yang menjadikan sebuah server AI sebagai server, bukan workstation.
NVLink dan NVSwitch menyelesaikan ini dengan menghubungkan GPU pada kecepatan yang satu tingkat lebih tinggi dibandingkan slot PCIe yang digunakan di desktop. Itulah alasan mengapa server dengan delapan GPU bernilai jauh lebih tinggi daripada delapan GPU terpisah di delapan mesin berbeda: jaringan memungkinkan mereka berfungsi sebagai satu kesatuan. Ketika Anda membandingkan theGPU Rechenzentrum saat ini, generasi interkoneksi adalah bagian yang sama pentingnya dari cerita ini seperti chip itu sendiri, dan inilah yang menjadikan sebuah server AI sebagai server, bukan workstation.
Apa sebenarnya arti HGX, DGX, dan OEM?
Di sini tempat jargon tinggal, dan ini lebih sederhana dari yang terdengar. HGX, DGX, dan OEM bukanlah tiga mesin berbeda. Ada tiga cara untuk membeli hal yang sama. Dasar delapan GPU di jantung server AI Anda dikirim dalam tiga paket, dan satu-satunya perbedaan yang nyata adalah siapa yang membangun dan mendukung sistem akhir tersebut.
Perbedaan ini layak dipelajari karena merupakan fork pertama dalam setiap pembelian server AI, dan labelnya muncul di setiap halaman produk. Bacalah infografis di atas sebagai versi singkat; berikut adalah arti dari masing-masing dalam praktik.
HGX: papan dasar GPU
HGX adalah papan dasar delapan-GPU dari NVIDIA, papan dengan GPU dan kain NVSwitch yang sudah terintegrasi. NVIDIA menjualnya kepada pembuat server seperti Gigabyte, Supermicro, dan ASUS, yang kemudian mengintegrasikannya ke dalam chassis mereka sendiri. Membeli HGX berarti memilih dari banyak vendor dan biasanya membayar lebih sedikit, dengan imbalan melakukan sedikit lebih banyak integrasi sendiri. Ini adalah jalur yang fleksibel dan berorientasi pada harga.
DGX: Sistem siap pakai NVIDIA
DGX adalah sistem lengkap milik NVIDIA sendiri, dibangun, diuji, dan didukung oleh NVIDIA sendiri. Papan HGX yang sama terpasang di dalamnya, tetapi seluruh mesin adalah produk jadi yang cukup Anda colok dan jalankan. DGX paling mahal dan memberikan Anda kekhawatiran paling sedikit: satu vendor, satu layanan dukungan, konfigurasi yang sudah terbukti baik. Ini adalah jalur tanpa repot bagi tim yang lebih memilih membeli hasil daripada membangunnya.
OEM: jalur tengah terintegrasi perusahaan
OEM perusahaan, Dell, Lenovo, dan HPE, mengambil papan HGX dan membangunnya ke dalam lini server mereka sendiri dengan garansi dan dukungan mereka sendiri. AServer AI Dell atau Lenovoterletak di antara HGX dan DGX: lebih terintegrasi dan didukung daripada kotak HGX tanpa komponen tambahan, lebih fleksibel dan seringkali lebih murah daripada DGX. Untuk perusahaan yang tim TI-nya sudah menggunakan perangkat keras Dell atau Lenovo, ini seringkali menjadi pilihan alami. Inti dari pesan adalah yang ada di infografik: GPU di bawahnya identik di ketiga perangkat tersebut. Yang sebenarnya Anda pilih adalah berapa banyak integrasi dan dukungan yang ingin Anda bayar, bukan seberapa banyak performa yang Anda dapatkan.
Siap Memulai Penambangan?
Pengiriman DDP gratis seluruh dunia. Hosting profesional mulai dari $0.055/kWh.
Server AI digunakan untuk apa?
Server AI melakukan tiga jenis pekerjaan secara umum, dan jenis yang Anda butuhkan akan mempengaruhi mesin yang harus Anda beli.
- PelatihanMembangun model dari awal atau menyempurnakan yang sudah ada. Pekerjaan yang paling menuntut, dan mengapa kebanyakan server delapan-GPU, serta GPU terbaik untuk pelatihan AI, dibeli.
- InferensiMenjalankan model yang selesai untuk menjawab pertanyaan. Lebih ringan per permintaan tetapi konstan, dan sering kali merupakan biaya jangka panjang yang lebih besar.
- Penyesuaian akhirMengadaptasi model dasar ke data Anda sendiri. Ini terletak di antara keduanya, membutuhkan kekuatan GPU nyata tetapi bukan klaster frontier.
Alasan mengapa hal ini penting adalah karena sebuah server yang cocok untuk satu pekerjaan sering kali tidak sesuai untuk pekerjaan lain. Sebuah node pelatihan frontier terlalu berlebihan untuk inferensi sederhana, dan sebuah kotak yang disesuaikan untuk inferensi akan berjalan lambat pada proses pelatihan yang besar. Menyesuaikan mesin dengan beban kerja adalah inti dari semuanya, yang merupakan alasan utama mengapa peringkat kami dariserver AI terbaik berdasarkan beban kerjadibangun untuk membantu dengan, dan apa yangAlat pengujian GPU dan servermemungkinkan Anda membandingkan secara langsung.
Bagaimana cara Anda memilih server AI yang tepat?
Setelah Anda memahami bagian-bagiannya, memilih satu mengikuti jalur yang singkat dan dapat diulang, sepertimemilih GPU individualAnda tidak perlu menjadi seorang ahli, Anda hanya perlu menjawab ini secara berurutan, karena setiap jawaban mempersempit bidangnya.
- Nama beban kerja.Pelatihan, inferensi, atau fine-tuning. Ini saja sudah mengecualikan sebagian besar opsi dan menentukan seberapa banyak mesin yang Anda perlukan.
- Ukur memori.Total memori GPU di seluruh node menentukan apakah model Anda cocok tanpa membagi-baginya, yang sering kali lebih penting daripada kecepatan murni.
- Pilih generasi GPU. Node A100 lama untuk nilai, H100 dan H200 untuk pelatihan standar, Blackwell untuk frontier.
- Pilih HGX, DGX, atau OEM. Tentukan seberapa banyak integrasi dan dukungan yang ingin Anda bayar, menggunakan pembagian tiga bagian di atas.
- Putuskan membeli versus menghostingMiliki dan jalankan dengan daya Anda sendiri, atau tempatkan di mana daya murah. Pemanfaatan mendasari keputusan ini.
Langkah terakhir itu adalah kekurangan tim tersebut. Karena server AI mengkonsumsi begitu banyak daya, tempat operasinya mempengaruhi ekonomi sama seperti server yang Anda beli, itulah sebabnya pertanyaan tentang membeli versus menghosting memerlukan perhatian tersendiri, yang akan dibahas selanjutnya.
Haruskah Anda membeli server AI atau menyewa kapasitas GPU?
Memiliki server AI masuk akal ketika server tersebut beroperasi sebagian besar waktu. Untuk inferensi stabil atau penyempurnaan berkelanjutan, server yang dibeli jelas mengungguli penyewaan cloud, karena tarif cloud per jam cepat menumpuk dibandingkan pembelian satu kali. Penyewaan lebih unggul untuk pekerjaan yang sifatnya spike, singkat, atau eksperimental, di mana node dengan enam digit yang Anda gunakan dua kali sebulan tidak masuk akal. Angka penentu adalah pemanfaatan, bukan harga sticker.
Ada jalur ketiga yang sering diabaikan oleh tim: miliki server dan jalankan di tempat yang menyediakan daya seharga murah dengan pendinginan profesional alih-alih di kantor Anda. Itu menangkap aspek ekonomi kepemilikan tanpa panas, kebisingan, dan konsumsi daya dari rig pelatihan di samping meja Anda, dan untuk server yang berjalan terus-menerus, ini sering kali menjadi opsi nyata yang paling murah. Itu adalah model di balikHosting GPU AI, dan bernilai untuk dipodelkan terhadap cloud murni sebelum Anda berkomitmen ke salah satu pihak.
Ada jalur ketiga yang sering diabaikan oleh tim: miliki server dan jalankan di tempat yang menyediakan daya seharga murah dengan pendinginan profesional alih-alih di kantor Anda. Itu menangkap aspek ekonomi kepemilikan tanpa panas, kebisingan, dan konsumsi daya dari rig pelatihan di samping meja Anda, dan untuk server yang berjalan terus-menerus, ini sering kali menjadi opsi nyata yang paling murah. Itu adalah model di balikHosting GPU AI, dan bernilai untuk dipodelkan terhadap cloud murni sebelum Anda berkomitmen ke salah satu pihak.
Bagaimana MillionMiner cocok
MillionMiner menyuplai server AI dalam ketiga bentuk, sistem HGX dari OEM utama, sistem DGX, dan node perusahaan Dell dan Lenovo, dikonfigurasi sesuai pesanan dengan GPU, penyimpanan, dan jaringan yang dibutuhkan oleh beban kerja Anda. Fasilitas AS yang diatur yang menjalankan operasi Bitcoin-nya juga dapat menjadi tempat untuk menampung server-server tersebut dengan biaya listrik rendah. Jika Anda masih membandingkan perangkat keras, rentang dariGPU AI perusahaandan lengkapRangkaian perangkat keras AImerupakan tempat untuk memulai, dan tim dapat menentukan spesifikasi lengkap sebuah Miner, biasanya dalam waktu satu hari.
Kesimpulan utama
Se sebuah server AI terdiri dari delapan GPU data-centre yang terhubung melalui fabric switch untuk berfungsi sebagai satu mesin, dibalut oleh CPU, memori, penyimpanan, dan jaringan yang menjaga mereka tetap berjalan. Interkoneksi adalah apa yang membuatnya menjadi sebuah server daripada sebuah workstation, dan HGX, DGX, serta OEM hanyalah tiga cara untuk membeli papan dasar yang sama, dengan memperbandingkan harga terhadap integrasi dan dukungan. Tentukan beban kerja Anda, atur kapasitas memori, pilih generasi, tentukan kemasan, dan putuskan apakah akan membeli atau menghosting. Jika Anda berhasil menentukan kelima aspek tersebut, mesin tersebut hampir dapat dipilih secara otomatis. Jika Anda membutuhkan bantuan, thetimdapat mengonfigurasi satu sesuai dengan beban kerja Anda.
Pertanyaan yang sering diajukan
Apa itu server AI secara sederhana?
Se Buatan AI adalah komputer yang dibangun dengan berbagai GPU, biasanya delapan, yang terhubung melalui koneksi berkecepatan tinggi sehingga mereka bekerja sebagai satu mesin. Di sekelilingnya terdapat CPU server, satu hingga empat terabyte RAM, penyimpanan cepat, dan jaringan berkecepatan tinggi yang tugasnya adalah menjaga GPU tetap aktif. GPU melakukan perhitungan AI; segala sesuatu yang lain ada untuk memastikan mereka tidak duduk diam.
Apa perbedaan antara HGX dan DGX?
HGX adalah papan dasar delapan-GPU dari NVIDIA, yang dibuat oleh pembuat server seperti Gigabyte dan Supermicro ke dalam chassis mereka sendiri, memberi Anda pilihan dan biasanya harga yang lebih murah. DGX adalah sistem lengkap, teruji, dan didukung oleh NVIDIA sendiri, opsi turnkey yang harganya lebih mahal tetapi langsung dapat digunakan. GPU di dalamnya sama; perbedaannya adalah integrasi dan dukungan.
Apa perbedaan antara server AI dan server biasa?
Sebuah server normal dibangun di sekitar CPU-nya dan menangani banyak pekerjaan kecil independen, seperti menyajikan halaman web. Sebuah server AI dibangun di sekitar delapan GPU yang ditujukan untuk satu pekerjaan besar, melatih atau menjalankan model AI. Ia menarik daya yang jauh lebih besar, membutuhkan pendinginan serius, dan bergantung pada interkoneksi GPU berkecepatan tinggi yang tidak dimiliki oleh server biasa.
Berapa banyak GPU dalam sebuah server AI?
Konfigurasi standar adalah delapan GPU per node, yang terhubung melalui kain NVSwitch sehingga mereka berfungsi sebagai satu mesin tunggal. Server PCIe yang lebih kecil mungkin menampung empat hingga delapan kartu, dan sistem skala rak seperti GB200 NVL72 menghubungkan 72 GPU di seluruh rak. Delapan adalah jumlah yang paling umum digunakan dalam node pelatihan HGX dan DGX.
Untuk apa digunakan server AI?
Tiga pekerjaan utama. Pelatihan membangun atau menyempurnakan sebuah model, tugas yang paling menuntut dan alasan mengapa sebagian besar server delapan-GPU dibeli. Inferensi menjalankan model yang sudah selesai untuk menjawab pertanyaan, lebih ringan per permintaan tetapi berlangsung secara konstan. Penyesuaian akhir menyesuaikan model dasar dengan data Anda sendiri. Jenis pekerjaan yang Anda lakukan menentukan server yang harus Anda beli.
Mengapa server AI membutuhkan interkoneksi khusus?
Karena saat GPU melatih secara bersamaan, mereka harus disinkronkan pada setiap langkah, berbagi hasil sebelum melanjutkan. Jika jalur tersebut lambat, seluruh mesin akan melambat untuk menyesuaikan, dan menambahkan lebih banyak GPU tidak akan membantu. NVLink dan NVSwitch menghubungkan GPU delapan kali lebih cepat daripada slot PCIe yang digunakan oleh desktop, yang memungkinkan delapan kartu bertindak sebagai satu kesatuan.
Berapa banyak daya yang digunakan oleh server AI?
Sejumlah besar. Sebuah node H100 atau H200 dengan delapan GPU mengkonsumsi sekitar sepuluh kilowatt, sebuah node Blackwell B200 sekitar empat belas, dan sistem skala rak jauh lebih banyak. Itulah sebabnya server AI membutuhkan pendinginan yang serius dan merupakan perangkat keras data centre daripada peralatan kantor, dan mengapa lokasi Anda menjalankan satu mempengaruhi ekonomi sama seperti perangkat mana yang Anda beli.
Apakah saya membutuhkan server AI atau cukup GPU saja?
Ini tergantung pada skala. Untuk inference satu kartu atau penyempurnaan awal, sebuah workstation dengan satu atau dua GPU sudah cukup. Setelah Anda membutuhkan beberapa GPU untuk pelatihan bersama, fabric NVLink dan NVSwitch dari server nyata menjadi faktor penentu, karena interkoneksi tersebut memungkinkan kartu-kartu tersebut berfungsi sebagai satu mesin, bukan sebagai pulau terpisah.
Apa itu server AI OEM?
Sebuah server AI OEM adalah server di mana vendor perusahaan seperti Dell, Lenovo, atau HPE mengambil motherboard HGX dari NVIDIA dan membangunnya menjadi lini server mereka sendiri dengan garansi dan dukungan mereka sendiri. Server ini berada di antara box HGX tanpa casing dan DGX yang sepenuhnya terintegrasi: lebih didukung daripada yang pertama, lebih fleksibel dan seringkali lebih murah daripada yang kedua.
Berapa biaya sebuah server AI?
Bervariasi secara luas tergantung tingkatannya. Sebuah node inferensi PCIe adalah pilihan terjangkau untuk pemula, sebuah node H100 atau H200 dengan delapan GPU bisa mencapai angka enam digit, dan sistem skala rak adalah investasi tingkat fasilitas. Karena harga didasarkan pada konfigurasi dan berfluktuasi dengan pasokan, perangkat keras AI perusahaan biasanya dikutip berdasarkan setiap build daripada dicantumkan, biasanya dalam waktu satu hari.
Catatan: angka untuk jumlah GPU, daya tarik, dan kecepatan interkoneksi adalah perkiraan dan mencerminkan perangkat keras data-centre tahun 2026; mereka berubah sesuai rilis dan konfigurasi baru. Harga sengaja berdasarkan kutipan, sesuai dengan cara perangkat keras AI perusahaan dijual. Foto utama adalah domain publik; infografis dan diagram adalah grafik asli MillionMiner. Artikel ini bersifat edukatif dan bukan nasihat keuangan.
