Olivia dorea de cele mai bune. A citit că un model cu 235 miliarde de parametri ocupa primul loc pe toate clasamentele open-source, l-a descărcat și a urmărit cum placa ei grafică de 16 GB refuză să încarce o fracțiune din el. Așa că a ales următorul nume de pe listă, apoi următorul, urmărind scorurile de benchmark până când s-a terminat seara și nimic nu a funcționat. Problema nu au fost niciodată modelele. Era faptul că le clasifica după lucrul greșit.
Modelele locale LLM sunt clasificate până la epuizare online, aproape întotdeauna după scorul benchmark, și aproape niciodată după întrebarea care decide cu adevărat pe care îl puteți folosi: ce va rula pe hardware-ul dumneavoastră. Acest ghid corectează acest lucru. El clasează cele mai bune modele open-weight pentru rulare locală în 2026 în funcție de caz de utilizare, cel mai versatil, cel mai bun programator, cel mai bun raționament, cel mai mic model, și le asociază cu memoria de care au nevoie, astfel încât să puteți potrivi un model cu GPU-ul dumneavoastră în loc să faceți invers. Dacă preferați partea hardware, ghidul nostru sprecele mai bune GPU-uri pentru rularea LLM-urilor localeste companion-ul acestuia.
Dacă acest lucru vi se pare familiar, este cea mai frecventă greșeală în AI locală. Modelele atrag toată atenția, benchmark-urile captează toate titlurile, iar singurul număr care de fapt controlează experiența dvs., cât de mult din model se potrivește în GPU-ul dvs., primește aproape nici o atenție. Obțineți acest număr corect și un card de nivel mediu rulează un model cu adevărat capabil. Greșiți și cel mai renumit model din lume se mișcă încet sau refuză să se încarce. Tot ce urmează este organizat pentru a vă menține de partea corectă a acelei linii.
Modelele locale LLM sunt clasificate până la epuizare online, aproape întotdeauna după scorul benchmark, și aproape niciodată după întrebarea care decide cu adevărat pe care îl puteți folosi: ce va rula pe hardware-ul dumneavoastră. Acest ghid corectează acest lucru. El clasează cele mai bune modele open-weight pentru rulare locală în 2026 în funcție de caz de utilizare, cel mai versatil, cel mai bun programator, cel mai bun raționament, cel mai mic model, și le asociază cu memoria de care au nevoie, astfel încât să puteți potrivi un model cu GPU-ul dumneavoastră în loc să faceți invers. Dacă preferați partea hardware, ghidul nostru sprecele mai bune GPU-uri pentru rularea LLM-urilor localeste companion-ul acestuia.
Dacă acest lucru vi se pare familiar, este cea mai frecventă greșeală în AI locală. Modelele atrag toată atenția, benchmark-urile captează toate titlurile, iar singurul număr care de fapt controlează experiența dvs., cât de mult din model se potrivește în GPU-ul dvs., primește aproape nici o atenție. Obțineți acest număr corect și un card de nivel mediu rulează un model cu adevărat capabil. Greșiți și cel mai renumit model din lume se mișcă încet sau refuză să se încarce. Tot ce urmează este organizat pentru a vă menține de partea corectă a acelei linii.
Răspuns rapid
- Cel mai bun în general:Qwen 3 235B-A22B, cel mai puternic all-rounder open-weight, dacă aveți hardware-ul pentru a-l rula.
- Cele mai bune raționamente și matematicăDeepSeek R1, cu 32B distile care rulează pe o singură placă.
- Cel mai bun coder pe o singură placă:Qwen 3 32B, un model dens care se potrivește cu 24 GB.
- Best long context:Llama 4 Scout, cu o fereastră de context măsurată în milioane de token-uri.
- Cel mai bun pe un singur GPU pentru consumatori:Gemma 3 27B, puternic și multimodal pe 16 GB.
- Cel mai ușorPhi-4 14B, suficient de capabil pe un laptop.
- Regula de dedesubt:Un model funcționează bine doar dacă încap în memoria GPU-ului dumneavoastră. Alegeți cazul de utilizare, apoi verificați VRAM-ul.
De ce clasamentele locale pentru LLM-uri se schimbă în mod constant
Un lucru de clarificat înainte de listă: acest domeniu evoluează mai rapid decât aproape orice altul în domeniul tehnologiei. Modele open-weight noi apar la fiecare câteva săptămâni, numerele versiunilor cresc, iar un model care conduce un benchmark într-o lună se află în mijlocul clasamentului luna următoare. Orice listă ierarhizată de versiuni specifice reprezintă o fotografie instantanee, iar aceasta este o fotografie a anului 2026, nu o verdict permanent.
Această rotire este exact motivul pentru care clasificarea după caz de utilizare este abordarea durabilă. Câștigătorul specific din fiecare categorie se va schimba, dar categoriile, un all-rounder, un coder, un reasoner, un model mic și rapid, un model cu context lung, nu. Așadar, citiți aceasta mai degrabă ca pe o hartă: găsiți sarcina de finalizat, selectați cea mai bună opțiune actuală pentru ea și verificați dacă se potrivește memoriei dumneavoastră. Familien aici, Qwen, DeepSeek, Llama, Gemma și Phi, au fost ancorele stabile ale AI locale până în 2026, chiar și pe măsură ce versiunile lor se iterează. O notă despre modul de utilizare a categoriilor: acestea se suprapun intenționat. Un all-rounder grozav poate codifica, iar un coder grozav poate raționa. Etichetele vă indică modelul cel mai potrivit pentru fiecare sarcină, nu singurul capabil să o execute. Dacă rulați doar un singur model local, alegeți cel mai bun all-rounder pe care memoria dumneavoastră îl permite și acesta va gestiona majoritatea sarcinilor. Dacă rulați mai multe, aici se dovedește valoarea potrivirii unui specialist pentru fiecare sarcină: un coder pentru editorul dumneavoastră, un reasoner pentru probleme dificile, un model mic și rapid pentru interogări rapide.
Această rotire este exact motivul pentru care clasificarea după caz de utilizare este abordarea durabilă. Câștigătorul specific din fiecare categorie se va schimba, dar categoriile, un all-rounder, un coder, un reasoner, un model mic și rapid, un model cu context lung, nu. Așadar, citiți aceasta mai degrabă ca pe o hartă: găsiți sarcina de finalizat, selectați cea mai bună opțiune actuală pentru ea și verificați dacă se potrivește memoriei dumneavoastră. Familien aici, Qwen, DeepSeek, Llama, Gemma și Phi, au fost ancorele stabile ale AI locale până în 2026, chiar și pe măsură ce versiunile lor se iterează. O notă despre modul de utilizare a categoriilor: acestea se suprapun intenționat. Un all-rounder grozav poate codifica, iar un coder grozav poate raționa. Etichetele vă indică modelul cel mai potrivit pentru fiecare sarcină, nu singurul capabil să o execute. Dacă rulați doar un singur model local, alegeți cel mai bun all-rounder pe care memoria dumneavoastră îl permite și acesta va gestiona majoritatea sarcinilor. Dacă rulați mai multe, aici se dovedește valoarea potrivirii unui specialist pentru fiecare sarcină: un coder pentru editorul dumneavoastră, un reasoner pentru probleme dificile, un model mic și rapid pentru interogări rapide.
Cât VRAM decide care modele puteți rula
Fiecare model local trebuie să încarce greutățile sale în memoria GPU pentru a funcționa la o viteză utilisabilă. Depășind acea memorie, modelul se extinde în RAM-ul obișnuit al sistemului, unde generarea încetinește semnificativ. Așadar, înainte ca orice ranking să conteze, constrângerea reală este simplă: cât VRAM aveți și ce modele încăp într-însa. Quantizarea, comprimarea greutăților la 4-bit, reduce utilizarea memoriei la jumătate sau chiar trei sferturi, cu un cost mic asupra calității, și este motivul pentru care un model care avea nevoie de un server acum doi ani rulează acum pe o stație de lucru. Valorile de mai jos presupun 4-bit (Q4), standardul practic pentru utilizarea locală.
| Memoria RAM a dvs. | Modelele pe care le rulează în Q4 | Exemplu GPU |
|---|---|---|
| 8 până la 12 GB | 7 până la 14B (Phi-4, Gemma 3 12B, Qwen 3 8B) | RTX 3060, 4060 Ti 16 GB |
| 16 GB | Până la 14B confortabil, 27B strâns | RTX 5060 Ti, 4070 |
| 24 GB | Clasa 27 până la 32B (Qwen 3 32B, DeepSeek R1 32B) | RTX 3090, 4090, 5090 |
| 48 GB | 70B în trimestrul IV, strâns | RTX PRO 6000, plăci duale |
| 80 până la 96 GB | 70B cu spațiu pentru creștere, Llama 4 Scout | A100, H100, RTX PRO 6000 |
| 141 GB și mai mult | 70B la FP16, 235B MoE, servire frontier | H200, B200, multi-GPU |
Aceasta este tabela pe care trebuie să o păstrați deschisă în timp ce citiți clasamentele. Dacă încă alegeți chiar cartea,cum să alegeți o GPU pentru AIacoperă elementele de bază și gama actuală deGPU-uri pentru AIcuprinde totul de la un singur card de 16 GB până la un accelerator pentru data-centre. O nuanță pe care tabelul nu o menționează: memoria utilizată de context de asemenea. Numerele de mai sus se referă doar la greutățile modelului, dar conversația, documentele pe care le inserați și fiecare utilizator concurent consumă în plus memorie, uneori câțiva gigabytes. Așadar, tratați figura de greutate ca fiind un minimum, nu un plafon, și cumpărați sau închiriați un nivel de rezervă peste aceasta. Un model care se potrivește exact cardului dumneavoastră în stare de repaus va începe să verse la momentul în care îi oferiți un prompt lung, ceea ce duce la aceeași încetinire care face ca un card prea mic să pară defect.
Cele mai bune LLM-uri locale din 2026, clasate
Șapte modele, clasificate după performanța lor, fiecare cu memoria de care are nevoie și hardware-ul pentru care sunt potrivite. Iată întreaga listă scurtă pe scurt înainte de detaliu:
Qwen 3 235B-A22B: cel mai versatil
235B de experți combinați, 22B activi · Apache 2.0 · ~130 GB în Q4 · context de 256K
Funcționează cel mai bine:gama cea mai largă de muncă grea: raționament complex, programare robustă, sarcini multilingve și documente lungi. Ca model de tip mixture-of-experts, activează doar o fracțiune din parametri per token, astfel că este mai rapid decât sugerează dimensiunea sa, dar totuși este un model mare care necesită o memorie serioasă pentru a fi gestionat.
Cel mai bun pentru:utilizatori care doresc cea mai puternică calitate open-weight și au hardware-ul necesar pentru aceasta. Acesta nu este un model GPU destinat unui singur consumator; necesită mai multe plăci sau o soluție corespunzătoareServer AI. La acest nivel, întrebarea practică devine care card de data centre îl alimentează, ceea ce reprezintă locul undeH100, H200 și B200 comparateîși justifică costurile. Licența Apache 2.0 o face potrivită pentru utilizarea comercială. La această scară, doriți o cartelă pentru Rechenzentrum, care este locul în careNVIDIA H200 141GBarează memorie pentru a o reține.
Cel mai bun pentru:utilizatori care doresc cea mai puternică calitate open-weight și au hardware-ul necesar pentru aceasta. Acesta nu este un model GPU destinat unui singur consumator; necesită mai multe plăci sau o soluție corespunzătoareServer AI. La acest nivel, întrebarea practică devine care card de data centre îl alimentează, ceea ce reprezintă locul undeH100, H200 și B200 comparateîși justifică costurile. Licența Apache 2.0 o face potrivită pentru utilizarea comercială. La această scară, doriți o cartelă pentru Rechenzentrum, care este locul în careNVIDIA H200 141GBarează memorie pentru a o reține.
DeepSeek R1: cel mai bun pentru raționament și matematică
671B MoE, plus 7B pentru 70B distile · MIT · ~20 GB pentru distilul de 32B în Q4 · 128K context
Funcționează cel mai bine:motivându-se pas cu pas, probleme bazate pe matematică și logică, unde răspunsul duce spre terenul deschis. Modelul complet este enorm, dar versiuni distilate, construite pe Qwen și Llama, reduc majoritatea abilităților de raționament la dimensiuni pe care le poate susține o singură placă, iar versiunea distilată de 32B încape pe un GPU de 24 GB.
Cel mai bun pentru:oricare pe cei ale căror activități sunt prioritare reasoning: cercetare, știința datelor, debugging dificil și probleme de tip concurs. Licența MIT este în mod neobișnuit de permisivă, permițând utilizarea comercială și chiar distilarea în propriile modele. Începeți cu o distilare de dimensiuneacardul potrivit pentru a funcționait, apoiere doar dacă modelul complet o merită. Distilatul 32B rulează fără probleme pe un singurNVIDIA RTX 3090 24GB, ceea ce îl menține bine în cadrul accesibil.
Cel mai bun pentru:oricare pe cei ale căror activități sunt prioritare reasoning: cercetare, știința datelor, debugging dificil și probleme de tip concurs. Licența MIT este în mod neobișnuit de permisivă, permițând utilizarea comercială și chiar distilarea în propriile modele. Începeți cu o distilare de dimensiuneacardul potrivit pentru a funcționait, apoiere doar dacă modelul complet o merită. Distilatul 32B rulează fără probleme pe un singurNVIDIA RTX 3090 24GB, ceea ce îl menține bine în cadrul accesibil.
Qwen 3 32B: cel mai bun coder pe o singură placă
32B dens · Apache 2.0 · ~20 GB la T4 · 128K context
Funcționează cel mai bine:Programare zilnică pe hardware pe care vă puteți permite cu adevărat: generare de cod, revizuire, refactorizare și muncă la scară de depozit pentru numeroase limbaje de programare. Ca model dens de 32B, se potrivește pe o singură placă de 24 GB la 4-bit, cu spațiu pentru context, și atinge unele dintre cele mai puternice scoruri open de programare pe care le puteți utiliza fără hardware de data centre.
Cel mai bun pentru:de solo developer sau echipă mică care dorește un model de programare cu adevărat capabil pe un GPU. Această clasă de 27-32 miliarde pe o placă de 24 GB reprezintă punctul dulce al valorii pentru AI local în prezent. Este modelul care face ca o placă actuală sau folosită de 24 GB să pară o ofertă avantajoasă.Împreună cu oNVIDIA RTX 4090 24GB, transformă o singură cartelă într-o configurație locală de codare cu adevărat rapidă.
Cel mai bun pentru:de solo developer sau echipă mică care dorește un model de programare cu adevărat capabil pe un GPU. Această clasă de 27-32 miliarde pe o placă de 24 GB reprezintă punctul dulce al valorii pentru AI local în prezent. Este modelul care face ca o placă actuală sau folosită de 24 GB să pară o ofertă avantajoasă.Împreună cu oNVIDIA RTX 4090 24GB, transformă o singură cartelă într-o configurație locală de codare cu adevărat rapidă.
Llama 4 Scout: cel mai bun pentru context lung
109B MoE, 17B active · Licență Comunitate Llama 4 · ~60 GB în T4 · până la 10M tokeni
Funcționează cel mai bine:sarcini în care cantitatea de informații pe care o puteți introduce în model contează mai mult decât raționamentul brut: analiză de întreg cod, seturi mari de documente și contexte mari de recuperare. Fereastra sa de context este măsurată în milioane de tokeni, mult peste cei 128K limitați de majoritatea modelelor, astfel încât puteți insera materiale care pur și simplu nu vor încăpea în altă parte.
Cel mai bun pentru:oricine limitate de lungimea contextului mai degrabă decât de inteligență. Are nevoie de memorie reală, un card de 96 GB sau un accelerator de clasă A100, iar configurarea acestuia este o muncă în sine; ghidul nostru pentruNVIDIA versus AMD versus Intel pentru AIvă ajută să alegeți siliciul de sub. Contextul lung de asemenea consumă memorie per solicitare, așa că asigurați-vă o rezervă de buget peste cifra de greutate. O cantitate atât de mare de context necesită memorie reală, așa că oferiți-i unNVIDIA A100 80GBpentru a-și extinde pe deplin fereastra.
Cel mai bun pentru:oricine limitate de lungimea contextului mai degrabă decât de inteligență. Are nevoie de memorie reală, un card de 96 GB sau un accelerator de clasă A100, iar configurarea acestuia este o muncă în sine; ghidul nostru pentruNVIDIA versus AMD versus Intel pentru AIvă ajută să alegeți siliciul de sub. Contextul lung de asemenea consumă memorie per solicitare, așa că asigurați-vă o rezervă de buget peste cifra de greutate. O cantitate atât de mare de context necesită memorie reală, așa că oferiți-i unNVIDIA A100 80GBpentru a-și extinde pe deplin fereastra.
Gata să începi să minezi?
Livrare DDP gratuită în întreaga lume. Hosting profesional de la $0.055/kWh.
Gemma 3 27B: cel mai bun pe o singură GPU pentru consumatori
27B dens, multimodal · Termeni Gemma · ~16 GB în Q4 · context de 128K
Funcționează cel mai bine:un model general puternic, inclusiv înțelegerea imaginilor, pe o singură placă accesibilă. La aproximativ 16 GB în 4-bit, se potrivește cu un GPU de 16 până la 24 GB și depășește așteptările pentru chat, recuperare și lucrul de asistent zilnic, rămânând în același timp efectiv executabil pe hardware-ul pentru consumatori.
Cel mai bun pentru:persoana care dorește cel mai performant model unic compatibil cu un card mainstream, cu intrare multimodală ca bonus. Rețineți că licența este termenii Gemma, nu Apache 2.0, fiind potrivită pentru uz personal, cercetare și instrumente interne, dar citiți-o înainte de a construi un produs comercial pe ea. Pentru majoritatea configurațiilor de acasă, acesta este cel mai ușor model puternic de rulat. UnNVIDIA RTX 5090 32GBrulează cu spațiu disponibil, lăsând rezervă pentru indicații mai lungi.
Cel mai bun pentru:persoana care dorește cel mai performant model unic compatibil cu un card mainstream, cu intrare multimodală ca bonus. Rețineți că licența este termenii Gemma, nu Apache 2.0, fiind potrivită pentru uz personal, cercetare și instrumente interne, dar citiți-o înainte de a construi un produs comercial pe ea. Pentru majoritatea configurațiilor de acasă, acesta este cel mai ușor model puternic de rulat. UnNVIDIA RTX 5090 32GBrulează cu spațiu disponibil, lăsând rezervă pentru indicații mai lungi.
Phi-4 14B: cel mai bun model ușor
14B denso · MIT · ~9 GB la T4 · 16K context
Funcționează cel mai bine:funcționează eficient pe hardware modest: ajutor pentru raționament și programare care rămâne precis la o dimensiune pe care o poate suporta un laptop sau un GPU de nivel entry. La aproximativ 9 GB în 4-bit se potrivește aproape oriunde cu 12 până la 16 GB, iar variantele mai mici Phi-4 rulează pe chiar mai puțin, inclusiv doar pe CPU în caz de nevoie.
Cel mai bun pentru:studenți, configurări pentru buget, laptopuri și utilizare offline sau la margine, unde un model grandios nu este o opțiune. Nu va depăși un benchmark de raționament față de giganți și nu trebuie; scopul este că rulează pe mașina pe care o aveți deja. Cel mai clar punct de intrare în AI local. Chiar și o cartelă de intrare, precum ceaNVIDIA RTX 2000 Ada 16GBse descurcă confortabil.
Cel mai bun pentru:studenți, configurări pentru buget, laptopuri și utilizare offline sau la margine, unde un model grandios nu este o opțiune. Nu va depăși un benchmark de raționament față de giganți și nu trebuie; scopul este că rulează pe mașina pe care o aveți deja. Cel mai clar punct de intrare în AI local. Chiar și o cartelă de intrare, precum ceaNVIDIA RTX 2000 Ada 16GBse descurcă confortabil.
Llama 3.3 70B: cel mai bun clasic all-rounder de 70B
70B dens · Licență Comunitară Llama 3 · ~40 GB în Q4 · 128K context
funcționează cel mai bine:o muncă generală și de programare bine echilibrată la nivelul 70B, cu maturitatea celei mai larg implementate familii de modele deschise. Este modelul de referință 70B: previzibil, bine susținut de toate instrumentele și puternic în toate domeniile, fără o singură specializare remarcabilă.
Cel mai bun pentru:utilizatorilor care doresc calitate dovedită de 70B și au memoria necesară: un singur card de peste 48 GB sau două carduri de 32 GB combinate. Rularea pe două carduri are nuanțe reale de configurare, așa că ghidul nostru pentruCum să configurați un server AI cu multiple GPUmerită citit mai întâi. Dacă doriți calitate de model mare pe o singură mașină, acesta este standardul sigur. Rulați-l pe unNVIDIA RTX 4090 48GB, sau o pereche pool de carduri de 24GB dacă le dețineți deja.
Cel mai bun pentru:utilizatorilor care doresc calitate dovedită de 70B și au memoria necesară: un singur card de peste 48 GB sau două carduri de 32 GB combinate. Rularea pe două carduri are nuanțe reale de configurare, așa că ghidul nostru pentruCum să configurați un server AI cu multiple GPUmerită citit mai întâi. Dacă doriți calitate de model mare pe o singură mașină, acesta este standardul sigur. Rulați-l pe unNVIDIA RTX 4090 48GB, sau o pereche pool de carduri de 24GB dacă le dețineți deja.
Care model ar trebui să utilizați pentru nivelul dvs. de VRAM?
Listele ordonate sunt utile, dar cel mai rapid mod de a decide este să porniți de la hardware-ul dumneavoastră și să avansați. Potriviți memoria cu nivelul, apoi alegeți cel mai bun model care se potrivește:
- 8 până la 16 GB:rulați Phi-4 14B sau Gemma 3 27B (strâns) pentru un model general capabil, sau un Qwen 3 8 până la 14B pentru viteză. Acesta este AI local real și util pe un card mainstream.
- 24 GBpunctul de echilibru. Rulați Qwen 3 32B pentru programare sau DeepSeek R1 32B distill pentru raționament, ambele complet pe o singură placă cu spațiu de context.
- 48 până la 96 GB:pas la Llama 3.3 70B sau Llama 4 Scout pentru context extins, pe un singur card cu memorie mare sau o pereche bine configurată.
- 141 GB și mai multrulează 70B cu precizie maximă sau amestecul de experți Qwen 3 235B, moment în care deținerea unui server sau închirierea unuia începe să fie mai logică decât un desktop.
Dacă modelul țintă se află cu un nivel peste placa dvs., acesta este semnalul pentru a vă gândi la hardware în loc să vă mulțumiți cu un model mai slab. Puteți răsfoi gama dehardware AIpentru a vedea cât costă fiecare nivel, iar pentru cele mai mari modele, rularea acestora singur acasă rareori are sens comparativ cuGăzduire GPU AI, unde energia și răcirea sunt gestionate pentru dumneavoastră. Saltul între niveluri este locul unde se hotărăsc cele mai importante decizii de cheltuieli. Trecerea de la 16 GB la 24 GB deblochează punctul de interes de 32B și este de obicei cea mai bună valoare pentru upgrade în AI local. Trecerea de la 24 GB la 48 GB sau mai mult de atât deblochează modelele de 70B și modele cu context lung, dar costurile cresc disproporționat, așa că faceți acest salt doar atunci când un anumit model de care aveți cu adevărat nevoie îl impune. Potrivește nivelul cu modelul pe care îl vei folosi cu adevărat, nu cel pe care îl ai în vedere.
Cum se rulează efectiv un LLM local?
Punerea în funcțiune a unui model este mai ușoară decât sugerează discuția despre hardware. O mână de instrumente gestionează totul, de la descărcare până la chat, iar dumneavoastră alegeți unul în funcție de cât de mult control doriți:
- Ollama:cel mai simplu început. O comandă descarcă și rulează un model, cu o API locală curată pentru propriile aplicații. Ideal pentru începători și configurații rapide.
- LM Studioo aplicație desktop prietenoasă cu o interfață de chat și un browser de modele, fără linie de comandă necesară. Ideal dacă doriți o experiență grafică.
- llama.cpp:motorul de sub multe dintre IA locale, care rulează eficient formatele cuantificate GGUF pe GPU sau CPU. Ideal pentru experimentare și maximizarea performanței.
- vLLM:stiva de servire pentru inferența GPU la scară, cu throughput-ul necesar pentru a gestiona mulți utilizatori. Cea mai bună variantă când ați depășit etapa de experimentare și serviți o echipă.
Indiferent de alegeti, aceeași regulă vă decide experiența: modelul încape în memorie. Înainte de a achiziționa o placă pentru un anumit model, merită să verificați cifrele reale peInstrument de benchmarking GPU și AImai degrabă decât să te bazezi pe foile de specificații, deoarece throughput-ul pentru același model variază semnificativ între carduri. O cale practică de început pentru majoritatea persoanelor: instalează Ollama, extrage un model de dimensiunea compatibilă cu cardul tău din tabelul de mai sus și interacționează cu el în terminal sau conectează-l într-o aplicație prin API-ul local. Dacă preferi să faci clic în loc să tastezi, LM Studio face același lucru cu o fereastră și o cutie de chat. Niciunul nu durează mai mult de câteva minute, iar amândouă îți permit să schimbi modelele liber, astfel încât să poți încerca două sau trei dintre cele prezentate aici pentru sarcinile tale înainte de a decide care merită un loc permanent.
Avertismente oneste
O listă de modele clasate vine cu mici detalii, iar sări peste acestea este modul în care oamenii rămân dezamăgiți. Trei aspecte merită să fie avute în vedere.
În primul rând, baremurile nu sunt același lucru cu munca dumneavoastră. Un model care se află în fruntea unui clasament de coding poate părea mai slab decât unul cu o poziție mai scăzută pe patrimoniul dumneavoastră specific, așa că tratați clasamentele ca o listă scurtă și testați primele două sau trei modele pe propriile sarcini. În al doilea rând, licențele variază și contează: Qwen și DeepSeek sunt distribuite sub termeni permissivi Apache 2.0 și MIT, în timp ce Llama și Gemma au propriile licențe comunitare cu condiții, așa că le citiți înainte de a construi un produs. În al treilea rând, cuantificarea are limite; 4-bit este aproape de calitatea completă pentru majoritatea utilizărilor, dar munca sensibilă la precizie poate necesita 8-bit sau FP16, ceea ce multiplică memoria de care aveți nevoie. Când comparați un anumit model cu o anumită placă,măsurați tokenii realipe secundă în loc să presupunem, deoarece diferența dintre promisiune și mașină reprezintă motivul pentru care cele mai multe configurații locale sunt dezamăgitoare.
Există încă o observație merită menționată, pentru că economisește bani: mai nou nu înseamnă întotdeauna mai bine pentru dumneavoastră. Un model lansat în această lună poate fi în topul clasamentelor și totuși să nu fie alegerea potrivită dacă nu se potrivește cardului dumneavoastră, nu are suport pentru unelte sau are o licență restrictivă. Cel mai bun model este cel pe care îl puteți rula efectiv, pe hardware-ul pe care îl dețineți, sub o licență cu care puteți trăi. Urmărirea celei mai recente versiuni este modul în care oamenii ajung să aibă un dosar plin cu descărcări și nimic funcțional.
În primul rând, baremurile nu sunt același lucru cu munca dumneavoastră. Un model care se află în fruntea unui clasament de coding poate părea mai slab decât unul cu o poziție mai scăzută pe patrimoniul dumneavoastră specific, așa că tratați clasamentele ca o listă scurtă și testați primele două sau trei modele pe propriile sarcini. În al doilea rând, licențele variază și contează: Qwen și DeepSeek sunt distribuite sub termeni permissivi Apache 2.0 și MIT, în timp ce Llama și Gemma au propriile licențe comunitare cu condiții, așa că le citiți înainte de a construi un produs. În al treilea rând, cuantificarea are limite; 4-bit este aproape de calitatea completă pentru majoritatea utilizărilor, dar munca sensibilă la precizie poate necesita 8-bit sau FP16, ceea ce multiplică memoria de care aveți nevoie. Când comparați un anumit model cu o anumită placă,măsurați tokenii realipe secundă în loc să presupunem, deoarece diferența dintre promisiune și mașină reprezintă motivul pentru care cele mai multe configurații locale sunt dezamăgitoare.
Există încă o observație merită menționată, pentru că economisește bani: mai nou nu înseamnă întotdeauna mai bine pentru dumneavoastră. Un model lansat în această lună poate fi în topul clasamentelor și totuși să nu fie alegerea potrivită dacă nu se potrivește cardului dumneavoastră, nu are suport pentru unelte sau are o licență restrictivă. Cel mai bun model este cel pe care îl puteți rula efectiv, pe hardware-ul pe care îl dețineți, sub o licență cu care puteți trăi. Urmărirea celei mai recente versiuni este modul în care oamenii ajung să aibă un dosar plin cu descărcări și nimic funcțional.
Rezumatul principal
Maya a încetat să urmărească scorurile din clasament și a început de la propria sa placă video. Cu 16 GB, a rulat Gemma 3 27B, a obținut un model cu adevărat puternic într-o seară și a upgradat mai târziu când un model mai mare l-a meritat cu adevărat. Acesta este tot ghidul într-o poveste: cel mai bun LLM local nu este cel cu cel mai înalt clasament, ci cel mai bun model care se potrivește memoriei pe care o aveți. Alegeți cazul de utilizare, citiți VRAM-ul de pe tabel, și alegeți cel mai puternic model care rulează fără să se răstoarne. Când modelul dvs. țintă depășește capacitatea cardului dvs., acesta este momentul să vă uitați la —Gamă de hardware AImai degrabă decât să se rezolve. Aceeași schimbare de energie ieftină careatrași Mineri în calculul AIeste ceea ce face ca deținerea și găzduirea unor GPU-uri reale să fie rentabilă pentru sarcini locale grele. Dacă nu sunteți sigur ce nivel necesită munca dumneavoastră, putețispuneți-ne încărcătura dvs. de lucruși dimensionați-l corespunzător. Clasificați după job, cumpărați pentru memorie.
Întrebări frecvent adresate
Care îl alegeți depinde de nevoile dvs. specifice, resursele hardware disponibile și scopurile dvs. de utilizare. Până în 2026, unele dintre cele mai promițătoare modele de LLM locale includ: - LLaMA (Large Language Model Meta AI) de la Meta, cunoscut pentru eficiența sa și adaptabilitatea pentru hardware variat. - GPT-XYZ, variante locale ale modelelor GPT dezvoltate de companii precum OpenAI sau alte entități private, care pot fi personalizate pentru implementarea locală. - Falcon sau Mistral, modele open-source cu performanțe ridicate, destinate utilizării pe infrastructură locală. - OpenLLaMa sau Alpaca, modele open-source bazate pe arhitecturi avansate, optimizate pentru utilizare la nivel local. Recomandăm monitorizarea dezvoltărilor în domeniu și evaluarea modelelor în funcție de costuri, compatibilitate hardware și cerințe de securitate. Asigurați-vă că aveți resurse suficiente pentru antrenare și inferență, precum și capacitatea de a gestiona actualizările și întreținerea modelului.
Depinde de sarcină. Pentru calitatea generală, Qwen 3 235B-A22B domină câmpul de greutate deschisă dacă dețineți hardware-ul; pentru raționament, DeepSeek R1; pentru programare pe un singur card, Qwen 3 32B; pentru un singur GPU de consum, Gemma 3 27B. Potriviți cazul de utilizare cu VRAM-ul dumneavoastră mai degrabă decât să urmăriți un singur câștigător.
Care ar fi cel mai bun LLM local pentru programare?
Qwen 3 32B este cel mai puternic coder pe care îl puteți rula pe o singură placă de 24 GB, încadrându-se la 4-bit cu spațiu suplimentar pentru context și obținând cele mai bune scoruri de codare deschisă. Pentru codarea care necesită raționament intens sau algoritmică, o distilare DeepSeek R1 reprezintă o alternativă puternică. Peste acea nivel, modelele mai mari Qwen și DeepSeek sunt lider, dar necesită mai multă memorie.
Care este cel mai bun LLM local pentru raționament?
DeepSeek R1 conduce cele mai avansate modele deschise pentru raționament pas cu pas, matematică și logică. Distribuția sa de 32B rulează pe o singură placă de 24 GB și păstrează cea mai mare parte a capacității de raționament, în timp ce modelul complet necesită memoria centrului de date. Se livrează sub licența permisivă MIT.
Cât VRAM este necesar pentru a rula un LLM local?
Se ajustează cu dimensiunea modelului la 4-bit: un Mineral de 7B necesită aproximativ 4 până la 6 GB, unul de 13 până la 14B aproximativ 8 până la 10 GB, unul de 27 până la 32B aproximativ 16 până la 20 GB, și unul de 70B aproximativ 40 GB înainte de context. Precizia completă necesită de două până la patru ori mai mult. Potriviți-vă placa la clasa de model pe care o doriți.
Ce este cel mai bun LLM local pentru o GPU de 24 GB
Clasa 27 până la 32B reprezintă punctul ideal pentru 24 GB. Rulați Qwen 3 32B pentru programare sau un DeepSeek R1 32B distilat pentru raționament, ambele încadrându-se pe o singură cartelă la 4-bit, cu spațiu pentru context. Gemma 3 27B se potrivește de asemenea confortabil cu intrare multimodală, ca bonus.
Care modele locale de LLM-uri rulează pe un laptop sau pe un GPU slab?
Phi-4 14B și variantele mai mici Phi-4, împreună cu Gemma 3 și Qwen 3 în dimensiuni de 4 până la 8B, rulează pe 8 până la 12 GB sau chiar doar pe CPU, doar mai încet. Phi-4 este alegerea ușoară remarcabilă, suficient de precisă pentru lucru real, în timp ce se potrivește hardware-ului pe care îl dețineți probabil deja.
Sunt modelele LLM open-source la fel de bune precum GPT sau Claude?
În domeniul programării, matematicii și taskurilor cu context lung, modelele open-weight de top sunt apropiate de liderii proprietari, iar pentru multe utilizări diferențele sunt minime. Diferențele rămase apar în rafinamentul urmării instrucțiunilor și în diversitatea multimodală. Pentru confidențialitate, controlul costurilor și utilizarea offline, un model local puternic reprezintă adesea alegerea practică superioară.
Trebuie să vă faceți griji cu privire la licențele modelelor?
Da, dacă dezvoltați un produs. Qwen (Apache 2.0) și DeepSeek (MIT) sunt permissive și prietenoase pentru utilizare comercială. Llama și Gemma poartă propriile licențe comunitare cu condiții ce merită citite. Pentru uz personal, cercetare și instrumente interne, toate acestea sunt în general acceptabile, dar verificați înainte de a lansa orice produs comercial.
Quantizarea pe 4 biți poate afecta calitatea modelului, dar impactul specific depinde de arhitectura și aplicație.
Mai puțin decât se așteaptă majoritatea. 4-bit menține aproximativ 90 până la 95 la sută din calitatea cu precizie completă, în timp ce reduce memoria la jumătate până la trei sferturi, fiind dificil de deosebit pentru cele mai multe sarcini. Rezervați 8-bit sau FP16 pentru lucrări sensibile la precizie și amintiți-vă că o precizie mai mare multiplică VRAM-ul necesar modelului.
Ar trebui să cumpăr o GPU sau să închiriez pentru a rula LLM-uri locale?
Pentru utilizare ocazională, închirierea sau un card deținut modest este suficient. Pentru inferența intensivă, permanentă, sau ajustarea fină, deținerea hardware-ului este mai ieftină pe termen lung, iar pentru cele mai mari modele, deținerea echipamentului și găzduirea acestuia într-un centru de date adecvat captează economia fără a opera carduri supraîncălzite acasă. Totul depinde de câte ore pe săptămână rulează efectiv modelul.
Imagine: Fotografia cardului grafic Gigabyte GTX 1660 Ti realizată de Chi Ho Chan (CC BY 2.0). Cardurile model, suprapunerea hero și scara nivelelor VRAM sunt grafica originală MillionMiner.
