Training und Fine-Tuning sind unterschiedliche Aufgaben mit unterschiedlicher Hardware- mathematik. Das Ausführen eines Modells lädt seine Gewichte. Das Training muss außerdem Gradienten, Optimiererzustände und Aktivierungen speichern, was den Speicherverbrauch um den Faktor vier bis acht erhöht. Diese Tatsache ordnet die gesamte GPU-Rangliste neu. Dieser Leitfaden listet die besten GPUs für AI-Training und Fine-Tuning im Jahr 2026 auf, von einem ersten QLoRA-Durchlauf auf einer Consumer-Grafikkarte bis hin zum Frontier-Pre-Training auf einem B200, mit der VRAM-Mathematik hinter jeder Auswahl. Wenn Sie nur Modelle ausführen möchten, anstatt sie zu trainieren, unsereLeitfaden für die besten GPUs zum lokalen Betrieb von LLMsist das, was Sie stattdessen möchten.
Die kurze Antwort
- Erstmalig feintuning (QLoRA, 7B bis 13B): Eine RTX 4090 oder 5090 erledigt die Arbeit auf Ihrem Schreibtisch.
- QLoRA bei großen Modellen (34B bis 70B): eine RTX PRO 6000 (96 GB) oder eine A100 80GB.
- Vollständiges Feinabstimmen und Enterprise-Training: H100 oder H200 mit NVLink, meist gemietet.
- Frontier Vortraining (100B+): B200 Cluster und nichts anderes.
- Die zugrunde liegende Regel: Wählen Sie zuerst die Methode (QLoRA, LoRA oder Voll), da sie Ihre VRAM-Kategorie festlegt, bevor die GPU es tut.
Training ist kein Inferenz: die VRAM-Mathematik

Full vs LoRA vs QLoRA: die Entscheidung, die Ihre GPU bestimmt

Warum die Verbindung mehr Bedeutung hat, als Sie denken
Die besten GPUs für KI-Training und Feinabstimmung, Rangliste
Neun GPUs, von der Karte, die Ihr erstes QLoRA-Experiment durchführt, bis zur Karte, die Grenzmodelle trainiert. Jede Karte ist nach ihrer Position in einem echten Trainingsworkflow bewertet, nicht nach dem reinen Preis. Jede Karte hier ist eine, die Sie tatsächlich kaufen und in Betrieb nehmen können.

1. RTX 4090: der kostengünstige QLoRA-Einsteiger
DieRTX 4090ist der Ausgangspunkt, an dem die meisten Menschen mit dem Training beginnen sollten. Seine 24 GB bewältigen bequem das Fine-Tuning von QLoRA für Modelle bis zu etwa 30B, was den überwältigenden Großteil der echten Fine-Tuning-Arbeiten abdeckt. Es ist die beste Wertkarte für KI-Entwickler, die ihre Hardware besitzen möchten und ohne Cloud-Rechnungen iterieren wollen.
Die Grenze ist real: 24 GB füllt sich schnell, wenn Sie die Modellgröße, den Kontextlänge oder die Batchgröße erhöhen, und es gibt kein NVLink, um zwei Karten für größere Durchläufe effektiv zu verbinden. Für vollständig feine Abstimmung oder alles über 30B ist dies der Punkt, an dem Sie auf eine größere Karte oder die Cloud umsteigen. DurchstöbernKI-GPUs.

2. RTX 3090: die einzige Verbraucherkarte mit NVLink
Älter, langsamer und immer noch auf dieser Liste aus einem Grund: dieRTX 3090ist die letzte Verbraucher-GPU mit NVLink. Ein Paar 3090s, die über NVLink verbunden sind, bietet Ihnen 48 GB nutzbaren Trainingsspeicher mit schnellem Gradient-Sync, zu einem Bruchteil der Kosten einer Data-Center-Karte. Für eine budgetfreundliche Multi-GPU-QLoRA-Station kommt in der Verbrauchersparte nichts anderes nahe.
Es verzichtet auf die rohe Geschwindigkeit und die neueren Präzisionsformate zugunsten der 4090 und 5090, sodass eine einzelne 3090 die schwächste der drei Verbraucheroptionen ist. In Kombination erreicht sie eine deutlich höhere Leistung, insbesondere beim Training.Shop KI-GPUs.

3. RTX 5090: der Sweet Spot für den Verbraucher QLoRA
32 GB GDDR7 · 1,79 TB/s · Blackwell · FP4 · kein NVLink · ca. 575 W
DerRTX 5090Ist die beste Consumer-GPU für das Training im Jahr 2026. Der Sprung auf 32 GB schnellen GDDR7 ist genau der Spielraum, der zählt, und ermöglicht bequemes QLoRA-Feinabstimmung im Bereich von 13 Mrd. bis 34 Mrd. Parameter. Blackwell fügt für Frameworks, die es unterstützen, FP4-Beschleunigung hinzu. Für einen ernsthaften Solo-Entwickler oder die Workstation eines kleinen Teams ist sie die erste Wahl.
Zwei Einschränkungen machen es zu einer Verbraucherkarte: Sie verwendet eine Ein-Bit-Fehlerkorrektur anstelle des vollständigen ECC, das in Forschung und regulierter Arbeit erwartet wird, und verfügt nicht über NVLink, sodass die Multi-Karten-Skalierung über langsamere PCIe läuft. Für reproduzierbare oder größere Runs sind die oben genannten Workstation- und Rechenzentralkarten die nächste Stufe. Kaufen Sie jetztAI-GPUs.

4. RTX PRO 6000 Blackwell: der Einzelkarten-Feinabstimmungs-Champion
Dies ist die Karte, die die Berechnung des Feinabstimmens mit einer einzelnen GPU verändert hat. Mit 96 GB ECC-Speicher auf demselben Blackwell-Chip wie die 5090, dieRTX PRO 6000passt QLoRA Feinabstimmung von Modellen bis zu 70B auf eine Karte, plus vollständiges ECC für reproduzierbare Ergebnisse und professionelle Treiber. Es liegt bei etwa einem Drittel des Preises eines H100 und kostet fast so viel wie ein A100, was es zur besten Investition für eigene Feinabstimmungs-Hardware im Jahr 2026 macht.
Seine eigentliche Grenze für das Training ist das Fehlen von NVLink, weshalb die Skalierung auf einen großen Multi-GPU-Cluster nicht zu seinen Stärken gehört; das ist Territorium von Rechenzentren. Für Single-Card- und Low-Count-Arbeiten bis zu 70B ist es schwer zu übertreffen. SieheGPU-Serveroder dieGPU-Benchmarks.

Bereit, mit dem Mining zu beginnen?
Kostenloser weltweiter DDP-Versand. Professionelles Hosting ab $0,055/kWh.
5. L40S: der Mittelweg für Workstations
DerL40SEs ist die sinnvolle Workstation-Karte für LoRA und QLoRA auf 7B bis 13B Modellen, und sie ist eine wirklich leistungsstarke Wahl für Diffusions- und Bild-Modell-Training, bei dem die 48 GB ECC-Speicher und die FP8-Unterstützung echtes Gewicht haben. Bei 350 W ist sie problemlos in mehreren zu racken, und vier davon decken eine Vielzahl von Servings und Trainings für kleine Teams ab.
Es liegt bei der Betriebszeit des PRO 6000 bei der Arbeitsspeicherleistung und bei den Rechenzentrum-Karten bei der Bandbreite, sodass es eher eine mittlere Wahl als eine Spitzenposition ist. Für Teams, die auf PCIe-Workstation-Server standardisieren, ist es eine zuverlässige Arbeitsmaschine.Durchsuchen Sie AI-GPUs.

6. A100 80GB: der wertvolle Rechenzentrum-Arbeitstier
DerA100ist älter als Hopper und Blackwell, und es bleibt dennoch die intelligenteste Investition für einen erheblichen Anteil des Trainings. Es verfügt über NVLink für echtes Multi-GPU-Scaling, eine ausgereifte Software-Stack für DeepSpeed und Unsloth, und es eignet sich für QLoRA-Feinabstimmung eines 70B-Modells in etwa 41 GB auf einer einzelnen Karte. Bei kleinen oder nicht ausgelasteten Jobs gewinnt es auch häufig bei den Kosten pro abgeschlossenem Lauf, weil eine H100 ihre Tensor Cores bei dieser Art Arbeit niemals vollständig ausnutzt und Sie für Kapazitäten bezahlen, die Sie nicht verwenden.
Es fehlt an FP8, sodass bei großen FP8-optimierten Trainingsläufen der H100 bei Geschwindigkeit und Effizienz die Nase vorn hat. Für QLoRA und feinabgestimmte mittlere Skalen ist der A100 80GB der Benchmark, an dem sich alles other orientiert. SieheGPU-Serverund dieVergleich der GPU im Rechenzentrum.

7. H100 SXM: Der unternehmensweite Schulungsstandard
DerH100ist die Standardoption für ernsthaftes Training, und das aus gutem Grund. Sein FP8 Transformer-Engine und 3,35 TB/s Bandbreite machen ihn etwa dreimal so kosteneffizient wie eine A100 für 70B FP8-Training, und NVLink 4 sorgt für die Gradient-Sync-Throughput, die verteiltes Training benötigt. Wenn sowohl Speicherreserven als auch Multi-GPU-Skalierung eine Rolle spielen, ist dies die Basis, auf der die Branche aufbaut.
Die ehrliche Einschränkung ist die Sättigung: Bei kleinen Läufen füllt der H100 nie aus, und ein A100 erledigt denselben Auftrag günstiger. Die Premium des H100 wird bei langen Läufen auf Modellen mit 30B und mehr verdient. Eigentum an einem Knoten ist eine Investition im sechsstelligen Bereich, daher mieten die meisten Teams. DurchsuchenGPU-Server.

8. H200: mehr Speicher, weniger Kompromisse
DerH200ist eine H100 mit 141 GB schnellerem HBM3e. Dieses zusätzliche Speicher ist kein reines Spezifikations-Highlight für das Training: Es ermöglicht oft, einen Schritt des Shardings ganz zu überspringen, was die H100 trotz des höheren Stundensatzes bei den Kosten pro abgeschlossenem Lauf übertreffen kann. Es ist die Karte, die Sie bei Langzeit-Training mit großem Kontext und großen Chargen anstreben sollten, die sonst erfordern würden, das Modell auf mehrere GPUs aufzuteilen.
Es teilt die Hopper-Compute-Engine des H100, sodass die rohe Durchsatzrate pro Karte ähnlich ist; der Speicher ist die ganze Geschichte. Für speichergebundenes Training ist diese Geschichte überzeugend. Siehe denH100 gegen H200 gegen B200 Vergleich.

9. B200: die Frontier-Trainings-GPU
Ganz oben sitzt derB200, und es ist eine andere Klasse von Maschine. Mit 192 GB HBM3e, 8 TB/s Bandbreite, NVLink 5 bei 1,8 TB/s und FP4-Unterstützung bietet sie eine etwa 2,2-mal schnellere Feinabstimmung als ein H100 und ist der aktuelle Standard für die Vortrainings-Frontier-Modelle. Für das Training von über 100 Milliarden von Grund auf verwenden die Frontier-Labore normalerweise Hardware, die in NVLink-verknüpften Clustern eingesetzt wird.
Für alle, die kein Frontier-Modell vortrainieren, ist es überdimensioniert, und die Verfügbarkeit ist immer noch knapper als bei Hopper. Aber wenn es um die größte mögliche Aufgabe geht, gibt es keinen Vergleich. Erkunden SieKI-HardwareEine Anmerkung für AMD-Shops: Der MI300X (192 GB) ist hier die echte Alternative, wenn Ihr Stack ROCm-kompatibel ist.
Wie man auswählt: Passen Sie die GPU an die Aufgabe an

Mieten, kaufen oder hosten: die Kostenfrage
Es gibt einen dritten Weg, der ignoriert wird: Besitz der Karte und Platzierung in einer Einrichtung. Der Kauf eines GPU oder eines vollständigen GPU-Servers und dessen Betrieb mit kostengünstiger, professionell gekühlter Rechenzentrumstromversorgung erfasst die Eigentumsökonomie ohne die Hitze, Geräusche und den Stromverbrauch eines Trainings-Rigs in Ihrem Büro. Das ist das Modell hinter MillionMiner'sAI-HardwareundGPU-Hostingund es lohnt sich, es vor einer Entscheidung gegen eine reine Cloud-Lösung zu modellieren.
Wie MillionMiner sich einfügt
Das Fazit
Häufig gestellte Fragen
Es hängt von der Methode und der Modellgröße ab. Für das Fine-Tuning mit QLoRA bewältigt eine RTX 4090 (24 GB) Modelle bis zu etwa 30B, eine einzelne RTX PRO 6000 (96 GB) oder A100 80GB verwalten bis zu 70B, und das vollständige Fine-Tuning großer Modelle erfordert NVLink-verbundene H100- oder H200-Cluster. Wählen Sie zuerst die Methode (QLoRA, LoRA oder vollständig), da sie den benötigten VRAM festlegt, bevor die GPU zum Einsatz kommt.
Wie viel VRAM benötige ich für Feinabstimmung?
Ungefähr 0,5 GB pro Milliarde Parameter bei QLoRA im Vergleich zu etwa 16 GB pro Milliarde beim vollständigen Feinabstimmen mit dem Adam-Optimizer. Ein 7B-Modell passt also mit QLoRA in etwa 12 GB, benötigt aber etwa 112 GB für das vollständige Feinabstimmen, und ein 70B-Modell passt mit QLoRA in etwa 48 GB, benötigt jedoch über 700 GB für das vollständige Feinabstimmen. Lange Kontexte und große Chargen treiben diese Zahlen in die Höhe.
Können Sie KI-Modelle auf einer RTX 4090 feinabstimmen?
Ja, für QLoRA und LoRA-Feinabstimmung von Modellen bis zu etwa 30B, was die meisten echten Feinabstimmungen abdeckt. Die 24 GB Grenze füllt sich schnell, wenn Sie die Modellgröße, die Kontextlänge oder die Batch-Größe erhöhen, und es gibt kein NVLink für eine saubere Multi-Grafikkarten-Skalierung. Für vollständige Feinabstimmungen oder Modelle über 30B steigen Sie auf eine Workstation-Grafikkarte mit 96 GB um oder mieten Sie eine GPU im Rechenzentrum.
Was ist der Unterschied zwischen LoRA und QLoRA?Beide frieren das Basismodell ein und trainieren kleine Adapter-Matrizen, sodass die teuren Gradienten und Optimierer-States nur auf einen winzigen Bruchteil der Parameter angewendet werden. QLoRA geht noch einen Schritt weiter, indem es die gefrorenen Basengewichte in 4-Bit-Genauigkeit lädt, was den Basis-Speicherbedarf um etwa 75 % reduziert. Das ermöglicht es, ein 70B-Modell auf einer einzelnen 48 bis 80 GB Karte feinzuabstimmen, anstatt eines Multi-GPU-Clusters.
Ist der A100 oder H100 besser für das AI-Training?
Es hängt von der Arbeitsbelastung ab. Der H100 fügt einen FP8 Transformer Engine und eine deutlich höhere Bandbreite hinzu, was ihn bei großen 70B FP8-Trainingseinheiten etwa dreimal kosteneffizienter macht als einen A100. Bei kleinen oder unausgelasteten Aufträgen nutzt der H100 seine Tensor Cores nie voll aus, und der günstigere A100 ist oft kosteneffektiver pro abgeschlossener Lauf. Wählen Sie die Karte entsprechend der Größe und Dauer des Laufs.
Benötigen Sie NVLink für das AI-Training?
Beim Einzel-GPU-Training nein. Beim Multi-GPU-Training ist es jedoch sehr wichtig, da die GPUs die Gradienten bei jedem Schritt synchronisieren müssen, und NVLink ist zwei- bis dreimal schneller als der PCIe-Fallback. Fast keine Consumer-Grafikkarte verfügt über NVLink; die RTX 3090 ist die letzte, die dies tut. Serielles Multi-GPU-Training läuft auf NVLink-verbundenen Rechenzentrumskarten wie dem A100, H100, H200 und B200.
Sollte ich eine GPU für das KI-Training mieten oder kaufen?
Miete für spiky, kurze oder sehr große Läufe, insbesondere für vollständiges Training über 8B Parameter, bei dem der Besitz eines H100-Knotens 300.000 $ bis 400.000 $ kostet. Kaufen Sie für konstante QLoRA- und LoRA-Arbeiten, die Sie die meisten Tage durchführen, wobei die Cloud-Stundenkosten schneller steigen als der Besitz. Entscheiden Sie sich für die Kosten pro fertiggestelltem Lauf und erwägen Sie eine dritte Option: den Besitz der Karte und das Hosting in einem kostengünstigen Rechenzentrum mit Stromversorgung.
Welches ist die beste Budget-GPU für das AI-Training?
Die RTX 4090 (24 GB) bietet das beste Preis-Leistungs-Verhältnis für QLoRA und LoRA bei Modellen bis zu etwa 30B. Ein Paar RTX 3090s über NVLink ist die kostengünstigste Multi-GPU-Option und bietet 48 GB mit schnellem Gradientensynchronisation. Die RTX 5090 (32 GB) ist die nächste Stufe, wenn Sie mehr Spielraum für 13B bis 34B Modelle auf einer einzelnen Karte benötigen.
Welches GPU benötige ich, um ein 70B-Modell zu trainieren?
Für das QLoRA-Feintuning eignet sich eine einzelne RTX PRO 6000 (96 GB) oder A100 80GB für ein 70B-Modell, dank 4-Bit-Quantisierung und Gradient Checkpointing. Für das vollständige Feintuning oder Pre-Training eines 70B-Modells benötigen Sie einen Cluster von NVLink-verbundenen H100- oder H200-GPUs, die Sharding-Techniken wie DeepSpeed ZeRO-3 verwenden, was fast immer eine Cloud- oder Hosting-Anwendung ist.
Kann ich KI-Modelle auf einer Gaming-GPU trainieren?
Ja, für QLoRA und LoRA-Feinabstimmung kleinerer Modelle eignet sich eine Gaming-GPU wie die RTX 4090 oder 5090 gut und ist eine hervorragende Möglichkeit, zu lernen und zu iterieren. Die Grenzen sind deutlich: Consumer-Karten verfügen nicht über vollwertigen ECC-Speicher (was für reproduzierbare Forschung wichtig ist) und NVLink (was für die Skalierung bei Multi-GPU-Systemen von Bedeutung ist), und ihr VRAM ist auf 32 GB begrenzt. Darüber hinaus sind Workstation- und Rechenzentrums-Karten der professionelle Weg.
Quellen und Hinweise
VRAM-Zahlen, Speicherberechnungen und Spezifikationen für 2026, zusammengestellt aus NVIDIA-Produktdokumentationen, dem QLoRA-Forschungspapier (Dettmers et al.), Hugging Face PEFT-Dokumentation und aktuellen Trainings-Hardware-Daten; die Zahlen sind ungefähre Angaben und ändern sich mit neuen Releases, Frameworks und Optimierungen. Produktfotos aus dem Katalog von MillionMiner. Hero-Bild: Creative Tools, lizenzierte CC BY 2.0, über Wikimedia Commons. Diagramme: Originalgrafiken von MillionMiner. Dies ist ein informativer Inhalt, kein finanzieller Rat.
Bitcoin Miner (BTC)
Dogecoin / Litecoin Miner (DOGE, LTC)
Zcash Miner (ZEC)
Kaspa Miner (KAS)
Ethereum Classic Miner (ETC)
Siacoin Miner (SC)
Monero Miner (XMR)
Weitere ASIC-Miner
Hydro-Miner
Lottery Miner
Mining-Container
Racks & Schränke
Hydro-Radiatoren
GPU & Grafikkarten
KI-Server
Speicher