บางคนในบริษัทของคุณได้ตัดสินใจว่าถึงเวลาแล้วที่จะรัน AI บนฮาร์ดแวร์ของคุณเอง อาจเป็นแชทบอทส่วนตัวที่รู้จักเอกสารภายในของคุณ, โพรเซสภาพสำหรับทีมผลิตภัณฑ์ หรือโมเดลที่อ่านใบแจ้งหนี้ในระดับเชิงพาณิชย์ และตอนนี้คุณคือผู้ที่เปรียบเทียบน้ำหนัก GPU — จ้องมองที่แผ่นสเปคเต็มไปด้วย TFLOPS, VRAM และคำย่อเชื่อมต่อเครือข่าย ในขณะที่ผู้ขายแต่ละรายอ้างว่าเป็นที่เร็วที่สุด
คำแนะแนวนี้เขียนขึ้นเพื่อให้ตรงกับช่วงเวลานั้น โดยอธิบายในภาษาที่เข้าใจง่ายว่าการวัดประสิทธิภาพของ GPU จริงๆ แล้ววัดอะไร ตัวเลขไหนที่สำคัญสำหรับงาน AI และตัวเลขไหนที่คุณสามารถเพิกเฉยได้อย่างปลอดภัย และวิธีคำนวณว่าระบบฮาร์ดแวร์ที่คุณใช้งานจริงๆ แล้วจำเป็นมากน้อยเพียงใด ภายในที่สุด คุณจะสามารถอ่านแผ่นข้อมูลจำเพาะของ GPU ได้เปรียบเทียบการ์ดสองใบด้วยตัวเอง และรู้ชัดเจนว่าควรถามคำถามใดก่อนที่จะลงทุนในงบประมาณห้าหรืองบหกหลัก
สิ่งที่การทดสอบความสามารถของ GPU บอกคุณอย่างแท้จริง
บรรทัดฐานเป็นการทดสอบที่สามารถทำซ้ำได้: งานเดียวกันที่ดำเนินการภายใต้เงื่อนไขเดียวกัน บนฮาร์ดแวร์ต่างกัน เนื่องจากงานไม่เปลี่ยนแปลง ผลลัพธ์จึงสามารถเปรียบเทียบได้อย่างย FAIR — การ์ด A ทำงานนี้เสร็จเร็วนั้น การ์ด B ก็เสร็จเร็วนั้น นั่นคือสิ่งที่บรรทัดฐานเป็น และเป็นเครื่องมือที่มีประโยชน์มากที่สุดที่ผู้ซื้อมี
มันสำคัญเพราะแผ่นสเปคเพียงอย่างเดียวไม่สามารถตอบคำถามของคุณได้ ผู้ผลิตเผยแพร่สูงสุดเชิงทฤษฎี — การคำนวณที่ชิปสามารถส่งมอบได้ภายใต้เงื่อนไขในห้องปฏิบัติการที่สมบูรณ์แบบ งาน AI จริงมีความซับซ้อนมากขึ้น: ข้อมูลต้องเคลื่อนที่เข้าและออกจากหน่วยความจำ ซอฟต์แวร์เพิ่มภาระงาน และงานต่าง ๆ ทดสอบส่วนต่าง ๆ ของการ์ดไม่เหมือนกัน การ์ดจอ GPU สองตัวที่มีสเปคตามเอกสารเดียวกันอาจทำงานได้แตกต่างกันอย่างมากเมื่อรันโมเดลภาษาแบบจริงจัง
นี่คือเหตุผลที่ตัวชี้วัดภาระงานเป็นตัวเลขที่คุ้มค่าที่จะอ่าน แทนที่จะเป็นคะแนนเชิงนามธรรม พวกเขาวัดงานที่ฮาร์ดแวร์ AI ทำได้จริงตลอดทั้งวัน: การสร้างข้อความด้วยโมเดลภาษา การผลิตภาพด้วยโมเดลการแพร่กระจาย และการอ่านหรือวิเคราะห์ภาพ หากกรณีใช้งานที่วางแผนไว้ของคุณตรงกับภาระงาน ตัวชี้วัดจะบอกอะไรบางอย่างที่เป็นความจริง
ข้อจำกัดที่ซื่อสัตย์อย่างหนึ่ง ตั้งแต่เริ่มต้น: มาตรฐานการวัดเป็นจุดอ้างอิง ไม่ใช่การรับประกัน ผลลัพธ์จะแปรเปลี่ยนตามเวอร์ชันไดรเวอร์ โครงร่างซอฟต์แวร์ ขนาดชุดข้อมูล และการตั้งค่ารุ่น การเปรียบเทียบที่จริงจัง — รวมถึงของเรา — สร้างจากข้อมูลมาตรฐานการวัดที่เผยแพร่สาธารณะเสมอ และจะย้ำเช่นนั้น จงถือว่าทุกตัวเลขในคู่มือนี้ และในหน้าการเปรียบเทียบใด ๆ เป็นแนวทางเท่านั้น ไม่ใช่ผลลัพธ์ที่รับประกัน
Reading a benchmark chart: one baseline, proportional bars, and a healthy dose of context.
13 คำศัพท์ที่สำคัญเมื่อคุณเปรียบเทียบฮาร์ดแวร์ AI
คุณไม่จำเป็นต้องมีปริญญาด้านวิศวกรรมเพื่อซื้อ GPU ที่เหมาะสม คุณต้องใช้คำศัพท์สิบสามคำ ซึ่งจัดเรียงตามลำดับที่คุณจะพบในกระบวนการตัดสินใจซื้อจริง
รุ่นและสิ่งที่มันต้องการ
Inference runs the model. Training teaches it — and typically needs two to four times the memory.
ความเร็วที่คุณสัมผัสได้
อุปสรรคที่ซ่อนอยู่
การปรับขนาดและต้นทุน
คำศัพท์แต่ละคำเหล่านี้ปรากฏเป็นคอลัมน์หรือป้ายชื่อในระบบของเราตารางเปรียบเทียบ GPUเพื่อให้ท่านสามารถเห็นพวกเขาที่แนบมากับบัตรจริงแทนการอธิบายแบบนามธรรม
คุณต้องการ GPU เท่าไหร่จริง ๆ?
ขนาดโมเดลกำหนดระดับพื้นฐาน โดยประมาณที่เผยแพร่กันทั่วไป: ในความแม่นยำ FP16 เต็มรูปแบบ โมเดลต้องการ VRAM ประมาณ 2 GB ต่อพันล้านพารามิเตอร์ การควอนตัมลดพื้นที่ลง — INT8 ต้องการประมาณครึ่งหนึ่ง และ INT4 ประมาณหนึ่งในสี่ นอกจากน้ำหนักแล้ว ให้วางแผนประมาณ 15 ถึง 20 เปอร์เซ็นต์เพิ่มเติมสำหรับแคชและแอคทีเวชัน และเพิ่มเติมสำหรับหน้าต่างบริบทยาวๆ
หมายเหตุเชิงปฏิบัติสองประการเกี่ยวกับตารางนี้ ประการแรก นี่เป็นประมาณค่าของน้ำหนักบวกกับค่าใช้จ่ายทั่วไป — หน้าต่างบริบทที่ยาวหรือชุดข้อมูลขนาดใหญ่จะเพิ่มขึ้นอีก ประการที่สอง การฝึกสอนเปลี่ยนแปลงทุกอย่าง: การสอนหรือปรับแต่งโมเดลโดยปกติแล้วต้องใช้หน่วยความจำสองถึงสี่เท่าของการรันโมเดล เนื่องจากความชันและสถานะตัวปรับแต่งที่อยู่ใน VRAM อยู่ร่วมกับน้ำหนัก
ความเร็วมีแนวคิดคล้ายคล้ายกัน สำหรับการอนุมาน แบนวิทธ์หน่วยความจำมักจะเป็นตัวกำหนดความเร็วในการปรากฏของโทเค็น ซึ่งเป็นเหตุผลว่าทำไมการ์ดข้อมูลศูนย์ข้อมูลที่มีหน่วยความจำ HBM จึงรู้สึกเร็วกว่าโดยไม่สมเหตุสมผลเมื่อเทียบกับความได้เปรียบ TFLOPS ของพวกเขาในโมเดลขนาดใหญ่
The memory ladder: what common model sizes need at full precision versus quantized to INT4.
หากคุณต้องการข้ามการคำนวณ เราได้จัดกลุ่มการ์ดแต่ละใบเป็นสี่ประเภทที่ใช้งานได้จริง — ตั้งแต่ฮาร์ดแวร์ระดับเริ่มต้นสำหรับการสร้างต้นแบบไปจนถึงการ์ดเรือธงสำหรับงานผลิตเกิน 70 พันล้าน ดำเนินการในของคุณระดับภาระงานบนหน้าการเปรียบเทียบ.
วิธีบอกว่า GPU ใดดีกว่า: รายการตรวจสอบ 4 คำถาม
เมื่อไพ่สองใบอยู่ในรายชื่อสั้นของคุณ สี่คำถามก็สามารถช่วยแก้ไขเกือบทุกการเปรียบเทียบได้
ยังมีเคล็ดลับอีกข้อหนึ่งที่ทำให้การเปรียบเทียบง่ายขึ้นอย่างมาก: การจัดดัชนี แทนที่จะต้องสลับไปมาระหว่างแผ่นสเปคสี่แผ่น ให้วางการ์ดแต่ละใบบนเครื่องชั่งน้ำหนักหน่วยเดียวกัน หน้าเพรียบเทียบของเราจะให้คะแนน GPU แต่ละรุ่นในด้าน inference ของ LLM, การสร้างภาพ และงานด้านวิสัยทัศน์ จากนั้นจะจัดทำดัชนีทุกอย่างเทียบกับ RTX 3090 เป็นพื้นฐาน 100 คะแนน — คะแนน 200 หมายความว่าการรับส่งข้อมูลรวมของการ์ดนั้นประมาณสองเท่าของการ์ดที่รู้จักกันดีนี้ ทันใดนั้นคำถามว่าอันไหนดีกว่าก็จะมีคำตอบในพริบตา
One scale for every card: when the RTX 3090 is 100, a 403 speaks for itself.
คุณสามารถดูฟิลด์ที่เป็นดัชนีเต็มในตาราง 78-GPUหรือข้ามไปยังการต่อสู้แบบตัวต่อตัวของไพ่สองใบใดๆคำถามเกี่ยวกับ H100 เปรียบเทียบกับ H200 ตัวอย่างเช่น จะได้รับคำตอบในไม่กี่วินาที: การประมวลผลที่เท่ากันบนกระดาษ แต่มีหน่วยความจำที่เร็วกว่าที่ 141 GB บน H200 เทียบกับ 80 GB บน H100
วิธีเปรียบเทียบฟรี: ภายในเครื่องมือทดสอบประสิทธิภาพ GPU
ความโปร่งใสเต็มรูปแบบ: เครื่องมือตามที่อธิบายไว้ที่นี่เป็นของเรา มันใช้งานได้ฟรี โดยไม่ต้องลงทะเบียนใด ๆ และมีอยู่เพราะเราเคยตอบคำถามเปรียบเทียบเดิมซ้ำๆ สำหรับลูกค้าด้วยมือ ต่อไปนี้คือสิ่งที่แต่ละส่วนทำ — รวมถึงสิ่งที่มันไม่สามารถทำได้
ตาราง GPU จำนวน 78 ตัว
ตารางที่สามารถจัดเรียงได้และแสดงการ์ดทุกใบในปัจจุบัน: VRAM, ดัชนี AI Inference พร้อมแถบเปรียบเทียบ, FP16 TFLOPS ทฤษฎี, ปริมาณการฝึกอบรมที่เผยแพร่ถ้ามี, และหมายเหตุเป็นภาษาธรรมดาว่าแต่ละการ์ดเหมาะสำหรับอะไร ค้นโดยกลุ่ม VRAM, ค้นหาโดยชื่อ และเรียงตามคอลัมน์ใดก็ได้โพเดียมของสามอันดับแรกในปัจจุบันนั่งอยู่เหนือมันสำหรับผู้ที่ใจร้อน
ข้อจำกัดที่ซื่อสัตย์: ตาราง GPU ตั้งใจไม่แสดงราคาสินค้า ราคาตลาดสำหรับอุปกรณ์ AI เปลี่ยนแปลงทุกสัปดาห์ และราคาที่ล้าสมัยยิ่งแย่กว่没有 — การกำหนดราคาสามารถทำได้ในใบเสนอราคา ไม่ใช่ในตารางที่เป็นสแตติก
สนามเปรียบเทียบแบบตัวต่อตัว
เลือกไพ่สองใบและสนามวางไว้เคียงข้างกัน: VRAM, ดัชนีอินเฟอร์เรนซ์, การคำนวณ FP16 และปริมาณงานในกระบวนการฝึกอบรมเป็นแถบสะท้อนกัน พร้อมคำตัดสินในประโยคเดียวเป็นภาษาอังกฤษง่าย ๆ นี่คือวิธีที่เร็วที่สุดในการแก้ไขข้อถกเถียงภายในระหว่างการพิจารณาสองการ์ดที่ถูกคัดเลือก
ข้อจำกัดของมัน: คำตัดสินสะท้อนดัชนีที่เผยแพร่ ไม่ใช่สแต็กซอฟต์แวร์ของคุณโดยตรง การ์ดที่ชนะดัชนีอาจยังแพ้ในเฟรมเวิร์กหรือเวอร์ชันโมเดลของคุณ — นั่นคือเหตุผลที่คำตัดสินระบุความต่างแทนที่จะอ้างว่าเป็นรายงานห้องปฏิบัติการ
The arena in three steps: pick two cards, compare the bars, read the verdict.
48 เซิร์ฟเวอร์ AI สมบูรณ์
เมื่อการ์ดหนึ่งใบไม่เพียงพอ หน่วยเปรียบเทียบจะเปลี่ยนไป: เซิร์ฟเวอร์ที่มีหลาย GPU จะได้รับการวัดจากหน่วยความจำรวมและการคำนวณรวมของมันส่วนเซิร์ฟเวอร์รายการระบบครบ 48 ระบบ — ตั้งแต่เวิร์กสเตชันขนาดกะทัดรัดไปจนถึงเครื่อง Rack GPU 8 ตัว — พร้อม VRAM รวมและการคำนวณ FP16 รวมบนมาตราส่วนเดียวกับการ์ดเดี่ยว เพื่อให้ตัวเลขสามารถเปรียบเทียบกันได้ทั่วทั้งหน้า
ระดับชั้น เทคนิค และรายละเอียดปลีกย่อย
Theระดับภาระงานแปลหมวดหมู่ฮาร์ดแวร์เป็นกรณีการใช้งานทั่วไป — Flagship สำหรับการให้บริการแบบมัลติเทนแนnt ที่มากกว่า 70B, High-End สำหรับงานผลิตระหว่าง 30B ถึง 70B, Mid-Range สำหรับกลุ่ม 8B ถึง 30B, Entry สำหรับการสร้างต้นแบบและเรียนรู้ วิธีการนี้เผยแพร่โดยเผยแพร่สาธารณะเท่านั้น: ข้อมูลเกณฑ์มาตรฐานที่ใช้เผยแพร่สาธารณะ, สามกลุ่มของการทำงานจริง, ทุกอย่างอ้างอิงกับ RTX 3090 ที่ 100 และหน้านี้ก็ซ้ำประกาศคำเตือนของตนเอง ซึ่งเราขอทำซ้ำที่นี่: ข้อมูลอ้างอิงเพื่อเป็นแนวทางเท่านั้น ไม่ใช่การรับประกันประสิทธิภาพคำถามที่พบบ่อย 16 ข้อครอบคลุมรายละเอียด
ห้าข้อผิดพลาดที่ผู้ซื้อครั้งแรกทำ
จากรายชื่อสุดท้ายสู่ใบเสนอราคา: สิ่งที่ต้องเตรียมและสิ่งที่จะเกิดขึ้นต่อไป
ในที่สุดขั้นตอนการสร้างตารางคำนวณก็จะสิ้นสุดลงและคุณจะได้พูดคุยกับผู้จัดหา การสนทนาจะสั้นและเป็นประโยชน์หากคุณนำเสนอข้อเท็จจริงห้าข้อดังต่อไปนี้:
ด้วยคำตอบเหล่านั้น นี่คือวิธีการทำงานกับเรา เรียบง่าย: คุณส่งคำถามผ่านทางแบบฟอร์มบนหน้าต่างเปรียบเทียบหรือผ่าน WhatsApp หรือ Telegram และวิศวกรตัวจริง — ไม่ใช่บอท — จะตอบกลับ โดยปกติภายในประมาณสองชั่วโมง GPU 78 เครื่องและเซิร์ฟเวอร์ 48 เครื่องในหน้าที่เราแสดงในสาธารณะ; เรายังสามารถหาได้มากกว่านั้น เสนอราคาส่งและราคาจำนวนมาก จัดส่งทั่วโลกพร้อมผ่านศุลกากร หรือดำเนินการฮาร์ดแวร์ให้แก่คุณในโรงงานโฮสต์ของเรา และเพื่อความตรงไปตรงมาของเรา: MillionMiner เป็นผู้จำหน่ายและผู้ให้บริการโฮสติ้ง ไม่ใช่ผู้ผลิต — ซึ่งเป็นเหตุผลที่คำแนะนำไม่เชื่อมโยงกับแบรนด์ใดแบรนด์หนึ่ง
คำถามที่พบบ่อย
เราจำเป็นต้องมีความเชี่ยวชาญด้านฮาร์ดแวร์ภายในบริษัทเพื่vการซื้อเซิร์ฟเวอร์ AI หรือไม่
ไม่ หากคุณสามารถตอบคำถามการเตรียมการทั้งห้าข้อด้านบน — แบบจำลอง ผู้ใช้ ความหน่วงเวลา การอนุมานหรือการฝึกฝน สถานที่ตั้ง — ผู้จัดหาที่มีความสามารถสามารถแปลคำตอบเหล่านั้นเป็นฮาร์ดแวร์ คำศัพท์ในคู่มือนี้มีไว้เพื่อให้คุณสามารถตรวจสอบเหตุผลของพวกเขา ไม่ใช่ว่าคุณต้องทำงานของพวกเขา
ควรซื้ อ GPU หรือเช่าในคลาวด์ดี?
แบบแผนที่เผยแพร่กันอย่างกว้างขวาง: งานที่ใช้เวลาทำงานด้วยการใช้งานสูงอย่างต่อเนื่องจะชดใช้ต้นทุนฮาร์ดแวร์ที่เป็นเจ้าของได้อย่างรวดเร็วในทางที่น่าประหลาดใจ ในขณะที่งานที่มีความผันผวนหรือเป็นการทดลองจะนิยมเช่า มากหลายธุรกิจอยู่ในระดับกลาง — เป็นเจ้าของฮาร์ดแวร์และมีการจัดวางไว้ที่โฮสติ้ง ซึ่งรวมต้นทุนที่คาดการณ์ได้เข้ากับไม่มีงานด้านสิ่งอำนวยความสะดวก ดำเนินการคำนวณการใช้งานที่เป็นจริงของคุณก่อนตัดสินใจ
โมเดลที่ถูกควอนต้าเสียคุณภาพที่เห็นได้ชัดหรือไม่
การประเมินผลที่เผยแพร่แล้วแสดงให้เห็นอย่างต่อเนื่องว่า FP8 เกือบไม่แตกต่างจากความแม่นยำเต็มรูปแบบสำหรับงานส่วนใหญ่ และ INT4 เป็นการแลกเปลี่ยนที่มีขนาดเล็กและขึ้นอยู่กับภารกิจ แนวทางที่สมเหตุสมผลคือทดสอบกรณีการใช้งานเฉพาะของคุณในระดับการควอนตายซ์ที่คุณวางแผนจะใช้งาน — ก่อนที่คุณจะกำหนดขนาดของฮาร์ดแวร์เพื่อรองรับมัน
ข้อมูลใดที่เราควรเตรียมก่อนขอใบเสนอราคา
โมเดลและขนาดของมัน, ผู้ใช้งานพร้อมกันหรือปริมาณคำขอคาดหวัง, ความคาดหวังในด้านความหน่วงเวลาของคุณ, ไม่ว่าคุณจะต้องการการฝึกฝนรวมถึงการอนุมาน, และตำแหน่งที่ฮาร์ดแวร์ควรตั้งอยู่ คำตอบห้าข้อ — นั่นคือทั้งหมดที่บ้านเรียน
ควรเรารอการเปิดตัวรุ่น GPU รุ่นต่อไปหรือไม่
มักมีรุ่นถัดไปเสมอ ซื้อเพื่อช่วงงานประมาณสองถึงสามปี หากฮาร์ดแวร์ที่มีอยู่ในวันนี้สามารถรองรับโมเดลปัจจุบันและระยะสั้นของคุณได้โดยมีพื้นที่ว่าง การรอคอยจะเสียค่าใช้จ่ายในด้านของเวลาที่คุณไม่ได้รับประโยชน์จากมัน รุ่นใหม่มักจะเพิ่มหน่วยความจำและประสิทธิภาพมากกว่าการเปลี่ยนแปลงในสิ่งที่เป็นไปได้
ข้อสรุป
ขนาดโมเดลกำหนดฐานของหน่วยความจำของคุณ ความกว้างแบนด์วิดธ์ของหน่วยความจำกำหนดความเร็วในโลกแห่งความเป็นจริง การวัดประสิทธิภาพ — อ่านเป็นข้อมูลอ้างอิงที่อ้างอิงกับตัวชี้วัดพื้นฐานหนึ่งตัว — ช่วยให้เปรียบเทียบระหว่างผู้สมัครสองราย ด้วยสิ่งอื่นใดเป็นการคำนวณจากภาระงานของคุณเอง
เมื่อคุณพร้อมที่จะเปลี่ยนชื่อให้เป็นตัวเลข, theการเปรียบเทียบเซิร์ฟเวอร์ GPU และ AIแสดงสนามทั้งหมดในสเกลเดียวกัน และก็แค็ตตาล็อกฮาร์ดแวร์ AIแสดงสินค้าที่มีในสต็อกตอนนี้
