Ktoś w Państwa firmie postanowił, że nadszedł czas na uruchomienie AI na własnym sprzęcie. Może chcesz prywatnego chatbota, który zna Twoje dokumenty wewnętrzne, pipeline obrazów dla zespołu produktowego lub model, który odczytuje faktury na dużą skalę. A teraz jesteś osobą porównującą GPU — wpatrującą się w arkusze specyfikacji pełne TFLOPS, VRAM i akronimy dotyczące łączności, podczas gdy każdy dostawca twierdzi, że jest najszybszy.
Ten poradnik został napisany właśnie na ten moment. Wyjaśnia, prostym językiem, co tak naprawdę mierzą benchmarki GPU, które parametry mają znaczenie przy pracy nad AI, a które można bezpiecznie pominąć, oraz jak obliczyć, ile sprzętu naprawdę potrzebuje Państwa zastosowanie. Pod koniec będziecie Państwo potrafili przeczytać dowolny arkusz parametrów GPU, samodzielnie porównać dwa karty i dokładnie wiedzieć, o jakie pytania zapytać, zanim zdecydują się Państwo na budżet sięgający pięciu lub sześciu cyfr.
Co naprawdę mówi test wydajności GPU
Benchmark to powtarzalny test: to samo zadanie, wykonywane w tych samych warunkach, na różnych sprzętach. Ponieważ zadanie nie ulega zmianie, wyniki można porównywać sprawiedliwie — karta A zakończyła obciążenie tak szybko, karta B tak samo. To wszystko, czym jest benchmark, i jest to najważniejsze narzędzie, jakie ma kupujący.
Ma to znaczenie, ponieważ sama karta specyfikacji nie jest w stanie odpowiedzieć na Państwa pytanie. Producentów publikują teoretyczne maksima — czyli moc obliczeniową, jaką może zapewnić układ pod idealnymi warunkami laboratoryjnymi. Rzeczywista praca z AI jest bardziej skomplikowana: dane muszą wchodzić i wychodzić z pamięci, oprogramowanie dodaje narzut, a różne zadania obciążają różne części karty. Dwa GPU o podobnych specyfikacjach mogą zachowywać się bardzo różnie, gdy uruchomią rzeczywisty model językowy.
Dlatego też wskaźniki obciążenia są wartościami, które warto znać. Zamiast abstrakcyjnej oceny, mierzą one zadania, które sprzęt AI wykonuje przez cały dzień: generowanie tekstu za pomocą modelu językowego, tworzenie obrazów za pomocą modelu dyfuzji oraz odczyt lub analizę obrazów. Jeśli Twój planowany przypadek użycia odpowiada obciążeniu, wskaźnik podaje Ci coś naprawdę ważnego.
Jedno uczciwe zastrzeżenie na początku: benchmarki są punktami odniesienia, a nie gwarancjami. Wyniki zmieniają się w zależności od wersji sterowników, frameworków oprogramowania, wielkości partii i ustawień modelu. Poważne porównanie — w tym nasze — opiera się na publicznie dostępnych danych benchmarkowych i zawsze będzie to podkreślać. Traktuj każdą liczbę w tym przewodniku i na każdej stronie porównawczej jako orientację, a nie gwarantowany wynik.
Reading a benchmark chart: one baseline, proportional bars, and a healthy dose of context.
13 terminów, które mają znaczenie przy porównywaniu sprzętu AI
Nie potrzebujesz dyplomu inżyniera, aby kupić odpowiednią GPU. Potrzebujesz trzynastu terminów, uporządkowanych według kolejności, w jakiej spotkają się z Tobą podczas prawdziwej decyzji zakupowej.
Model i jego wymagania
Inference runs the model. Training teaches it — and typically needs two to four times the memory.
Prędkość, którą można poczuć
Ukryta wąska gardež
Skalowanie i koszty
Każde z tych terminów pojawia się jako kolumna lub etykieta w naszymTabela porównawcza GPUtak mogą je Państwo zobaczyć w rzeczywistych kartach, a nie tylko jako abstrakcyjne definicje
Ile GPU naprawdę potrzebujesz?
Rozmiar modelu wyznacza minimalną granicę. Powszechnie publikowane przybliżenie: przy pełnej precyzji FP16, model potrzebuje około 2 GB VRAM na miliard parametrów. Kwantyzacja zmniejsza ten rozmiar — INT8 potrzebuje około połowy, INT4 około ćwierci. Do tego, co potrzebują wagi, zaplanuj dodatkowo około 15 do 20 procent na cache i aktywacje, a więcej, jeśli chcesz długie okno kontekstu.
Dwie praktyczne uwagi dotyczące tej tabeli. Po pierwsze, są to przybliżenia dla wag plus zwykłe narzuty — długi okno kontekstu lub duża partia zwiększają to. Po drugie, trening zmienia wszystko: nauka lub dostrajanie modelu zazwyczaj wymaga dwukrotnie do czterokrotnie więcej pamięci niż jego uruchomienie, ponieważ gradienty i stany optymalizatora znajdują się w VRAM obok wag.
Prędkość opiera się na podobnej logice. Dla inferencji, przepustowość pamięci zazwyczaj kontroluje szybkość pojawiania się tokenów, dlatego karty do data center z pamięcią HBM wydają się być proporcjonalnie szybsze na dużych modelach niż sugeruje ich przewaga TFLOPS.
The memory ladder: what common model sizes need at full precision versus quantized to INT4.
Jeśli wolisz pominąć rachunki, pogrupowaliśmy każdą kartę na cztery praktyczne klasy — od podstawowego sprzętu do prototypowania po flagowe karty do obsługi produkcji przekraczającej 70 miliardów, wPoziomy obciążenia na stronie porównawczej.
Jak określić, który GPU jest lepszy: 4-pytaniowa lista kontrolna
Kiedy na Twojej liście znajdują się dwie karty, cztery pytania rozstrzygają niemal każde porównanie.
Jest jeszcze jeden trik, który znacznie ułatwia porównanie: indeksowanie. Zamiast bawić się czterema arkuszami specyfikacji, umieść każdą kartę na jednej skali. Nasza strona porównawcza ocenia każde GPU pod kątem inferencji LLM, generowania obrazów i obciążenia wizji, a następnie indeksuje wszystko względem RTX 3090 jako bazowego wyniku 100 punktów — wynik 200 oznacza mniej więcej dwukrotność łącznej przepustowości tej znanej karty. Nagle pytanie, która jest lepsza, ma odpowiedź na jeden rzut oka.
One scale for every card: when the RTX 3090 is 100, a 403 speaks for itself.
Możesz zobaczyć pełne indeksowane pole wTabela 78-GPUlub przejdź bezpośrednio dopojedynek bezpośredni dowolnych dwóch kartPytanie dotyczące H100 versus H200, na przykład, rozwiązuje się w kilka sekund: identyczne możliwości obliczeniowe na papierze, ale 141 GB szybszej pamięci w H200 w porównaniu do 80 GB w H100.
Sposób darmowy do porównania: Wewnątrz narzędzia do testowania wydajności GPU
Pełna przejrzystość: narzędzie opisane tutaj jest nasze. Jest darmowe, działa bez konieczności rejestracji i istnieje, ponieważ wielokrotnie odpowiadaliśmy ręcznie na te same pytania dotyczące porównań od klientów. Oto, co każdy jego element robi — w tym, czego nie może zrobić.
Tabela z 78 GPU
Każda obecna karta w jednej sortowalnej tabeli: VRAM, Wskaźnik Inferencji AI z proporcjonalnym paskiem, teoretyczne TFLOPS FP16, opublikowana przepustowość treningowa, jeśli jest dostępna, oraz prosty opis, do czego każda karta jest najlepsza. Filtruj według klasy VRAM, wyszukuj według nazwy i sortuj dowolną kolumnę. Apodium obecnie najlepszej trójkisiedzi nad tym dla niecierpliwych.
Jego uczciwe ograniczenie: tabela GPU celowo nie zawiera cen. Ceny rynkowe sprzętu AI zmieniają się co tydzień, a nieaktualna cena jest gorsza niż brak ceny — wycena odbywa się na podstawie oferty, a nie w statycznej tabeli.
Arena rywalizacji jeden na jednego
Wybierz dowolne dwie karty iarena**Ustawia je obok siebie: VRAM, indeks inferencji, obliczenia FP16 i przepustowość treningu jako lustrzane paski, plus pisemne podsumowanie w jednym zdaniu prostym językiem. To najszybszy sposób na rozwiązanie wewnętrznej dyskusji między dwoma wybranymi kartami.**
Ograniczenie: wyrok odzwierciedla opublikowany indeks, a nie dokładny zestaw oprogramowania. Karta, która wygrywa indeks, nadal może przegrać na Twoim konkretnym frameworku lub wersji modelu — dlatego wyrok podaje margines, zamiast udawać, że jest raportem z laboratorium.
The arena in three steps: pick two cards, compare the bars, read the verdict.
48 kompletne serwery AI
Gdy jedna karta okaże się niewystarczająca, jednostka porównawcza się zmienia: serwer wielogPU jest oceniany na podstawie łącznej pamięci i łącznej mocy obliczeniowej.sekcja serwerawymienia 48 kompletnych systemów — od kompaktowych stacji roboczych po maszyny rack z 8 GPU — z łączną pamięcią VRAM i łącznym obliczeniem FP16, obliczonym na tej samej skali co pojedyncze karty, aby liczby były porównywalne na całej stronie.
Taryfy, metodologia i szczegóły.
Thepoziomy obciążeniaprzełożyć klasy sprzętu na proste przypadki użycia — Flagship dla wielo-tenantów powyżej 70B, High-End dla produkcji od 30B do 70B, Mid-Range dla przedziału od 8B do 30B, Entry do prototypowania i nauki. Metodologia jest opublikowana publicznie: wyłącznie dostępne publicznie dane benchmarkowe, trzy rodziny rzeczywistych obciążeń, wszystko indeksowane do RTX 3090 na poziomie 100. A strona powtarza swoje własne zastrzeżenie, które powtarzamy tutaj: dane referencyjne do orientacji, nie gwarancja wydajności.16-pytaniowe FAQobejmuje szczegóły.
Pięć błędów, które popełniają początkujący kupujący
Od wybranej listy do oferty: Co należy przygotować i co się dzieje dalej
W pewnym momencie faza arkusza kalkulacyjnego dobiega końca i rozmawia Pan/Pani z dostawcą. Rozmowa jest krótka i owocna, jeśli przedstawi się pięć faktów:
Z tymi odpowiedziami, tak to u nas działa, jasno: wysyłasz pytanie przezformularz na stronie porównanialub za pośrednictwem WhatsApp lub Telegram, a odpowiedź udzieli prawdziwy inżynier — nie bot — zwykle w ciągu około dwóch godzin. 78 GPU i 48 serwerów na stronie to te, które podajemy publicznie; możemy dostarczyć znacznie więcej, zaoferować cenę B2B i hurtową, wysłać na cały świat z obsługą celno-skarbową lub uruchomić sprzęt dla Państwa w naszych obiektach hostingowych. A aby być uczciwym wobec samego siebie: MillionMiner jest sprzedawcą i hosterem, nie producentem — co dokładnie wyjaśnia, dlaczego rekomendacja nie jest powiązana z żadną konkretną marką.
Najczęściej zadawane pytania
Czy potrzebujemy wewnętrznej wiedzy technicznej dotyczącej sprzętu, aby zakupić serwer AI?
Nie. Jeśli potrafi się odpowiedzieć na pięć powyższych pytań dotyczących przygotowania — model, użytkownicy, opóźnienie, inference lub trening, lokalizacja — kompetentny dostawca potrafi je przełożyć na hardware. Słownictwo w tym przewodniku istnieje po to, aby można było sprawdzić ich rozumowanie, a nie po to, aby musieć wykonywać ich pracę.
Czy powinniśmy kupować GPU czy wynajmować je w chmurze?
Powszechnie znany schemat: obciążenia, które utrzymują się na wysokim poziomie wykorzystania, zwracają koszty posiadanego sprzętu bardzo szybko, podczas gdy obciążenia burzliwe lub eksperymentalne korzystają na wynajmie. Wiele przedsiębiorstw znajduje się po środku — posiada sprzęt i korzysta z jego hostingu, co łączy przewidywalny koszt z brakiem prac związanych z infrastrukturą. Przed podjęciem decyzji oblicz swoje realistyczne wykorzystanie.
Czy model skwantowany traci zauważalną jakość?
Opublikowane oceny konsekwentnie pokazują, że FP8 jest prawie nie do odróżnienia od pełnej precyzji w większości zadań, a INT4 stanowi niewielki, zadaniowo zależny kompromis. Rozsądne jest przetestowanie konkretnego przypadku użycia na poziomie kwantyzacji, na którym planują Państwo operować — zanim dostosują Państwo sprzęt do tego.
Jakie informacje powinniśmy przygotować przed złożeniem zapytania ofertowego?
Model i jego rozmiar, oczekiwana liczba użytkowników równoczesnych lub volumen zapytań, Państwa oczekiwania dotyczące opóźnień, czy potrzebują Państwo szkolenia oraz inferencji, a także miejsce, gdzie sprzęt ma się znajdować. Pięć odpowiedzi — to całe zadanie domowe.
Czy powinniśmy poczekać na następną generację GPU?
Zawsze pojawia się następna generacja. Kupuj z myślą o dwugodzinnym do trzyletnim horyzoncie pracy: jeśli sprzęt dostępny dziś obsługuje Twoje obecne i przyszłe modele z zapasem, oczekiwanie głównie kosztuje Cię miesiące wartości, których nie zdobyłeś. Nowe generacje zazwyczaj dodają pamięć i wydajność, a nie zmieniają to, co jest możliwe.
Podsumowanie
Rozmiar modelu ustala minimalną wymaganą pamięć. Szerokość pasma pamięci określa rzeczywistą prędkość działania. Wyniki testów — traktuj je jako dane odniesienia, porównywane do jednej bazy odniesienia — przeprowadzają porównanie między dwoma kandydatami. Wszystko inne to arytmetyka na podstawie Państwa własnych obciążeń.
Gdy jesteście gotowi przypisać nazwy do liczb, thePorównanie serwerów GPU i AIpokazuje całe pole na jednej skali, a takżeKatalog sprzętu AIpokazuje, co jest teraz dostępne w magazynie.
