Otevřený model si můžete stáhnout a pouštět na vlastním počítači. Nic se neposílá na cizí server, funguje to i bez internetu a neplatíte za každou odpověď. Zadarmo to ale není: platíte počítačem a vlastním časem. Tenhle průvodce říká, co je k tomu potřeba a jak začít nejjednodušší cestou.
Lokální provoz se hodí, když nechcete posílat citlivé texty do cizí služby, chcete se s modely učit nebo potřebujete něco, co poběží bez internetu.
Nehodí se, když chcete nejlepší dostupnou kvalitu bez starostí. Největší modely (stovky miliard parametrů) doma nespustíte a malé modely jsou slabší než velké placené služby. Pro takové úlohy je rozumnější API nebo běžný chatbot.
Rozhoduje paměť. Model se musí vejít do operační paměti počítače, nebo do paměti grafické karty, a ještě zbýt rezerva na provoz. Pro hrubý odhad stačí velikost modelu: ve zmenšené (kvantizované) podobě zabere zhruba půl gigabajtu na miliardu parametrů, v plné přesnosti asi dva.
Dokumentace Hugging Face popisuje formát GGUF, ve kterém se zmenšené modely obvykle distribuují. Zápis Q4_K označuje čtyřbitové zmenšení (zhruba 4,5 bitu na váhu), takže model z 8 miliard parametrů zabere řádově 5 GB.
Podle dokumentace LM Studio je na Windows doporučeno alespoň 16 GB paměti a 4 GB paměti grafické karty a na macOS čip Apple Silicon s 16 GB a víc (u 8 GB paměti pouze menší modely). Jsou to doporučení, ne tvrdé minimum.
| Počítač | Co zhruba unese | Příklady z přehledu |
|---|---|---|
| Běžný notebook, 8–16 GB paměti | Modely do asi 8 miliard parametrů ve zmenšené podobě | Gemma 4 E2B a E4B, Qwen3-8B, Ministral 3 14B, Granite 4.1 3B, SmolLM3, MiniCPM5 |
| Výkonnější počítač, 32 GB paměti nebo grafika s 16–24 GB | Modely do asi 30 miliard parametrů | Qwen3-14B, Qwen3.8-27B, gpt-oss-20b, Gemma 4 31B |
| Pracovní stanice, 64 GB a víc nebo více karet | Větší modely a obrázkové či video modely | gpt-oss-120b (podle karty jedna 80GB karta), Wan 2.2 (karta zmiňuje 80 GB) |
| Server nebo API | Obří modely, doma nespustitelné | DeepSeek V3.2 a V4, Kimi K3, GLM-5.3 |
Čísla jsou odhad. Skutečná spotřeba záleží na délce rozhovoru (kontextu), nastavení a programu, ve kterém model pustíte.
Ollama je aplikace pro spouštění modelů na vlastním počítači. Podle jejich dokumentace se instaluje z webu ollama.com/download, kde vyberete macOS, Windows nebo Linux.
Modely z Hugging Face jde pustit také: Ollama umí spouštět soubory ve formátu GGUF příkazem ollama run hf.co/{uživatel}/{repozitář}. Podle dokumentace Hugging Face se, pokud je k dispozici, vybere zmenšení Q4_K_M; jiné zvolíte přidáním :{zmenšení} na konec.
Pozor: GGUF verze často nevytváří autor modelu, ale někdo třetí. Stahujte jen od autorů, kterým věříte, a u každého modelu zkontrolujte licenci.
LM Studio je aplikace s grafickým rozhraním, která se hodí, když nechcete používat terminál. Podle dokumentace běží na macOS (Apple Silicon, macOS 14 a novější), Windows (x64 s podporou AVX2 nebo ARM) i Linuxu (Ubuntu 20.04 a novější) a umí fungovat zcela offline, jakmile má stažené soubory modelu.
Podmínky používání samotné aplikace LM Studio si před firemním použitím zkontrolujte u výrobce.
Modelová karta češtinu často neuvádí a „umí česky“ znamená u modelů hodně různých věcí. Nejspolehlivější je vlastní krátký test. Zkuste pět úkolů ze své práce: shrnout odstavec, přeložit text, napsat zdvořilý e-mail, odpovědět na otázku z oboru a opravit gramatiku.
Všímejte si skloňování, vymyšlených slov a toho, jestli model nezačne odpovídat anglicky. Z přehledu češtinu výslovně uvádí karta Granite 4.1; Gemma 4 uvádí více než 140 jazyků. U ostatních jde o ověření testem.
Stahujte modely jen z oficiálních stránek autorů nebo z ověřených zdrojů. Soubory modelů z neznámých míst mohou být upravené.
Než model nasadíte ve firmě nebo pro klienta, přečtěte si licenci. Apache 2.0 a MIT jsou volné, ale třeba Llama, FLUX.1 dev, GLM-5.3, Kimi K3 nebo Nemotron mají vlastní podmínky. Při lokálním běhu zůstávají vaše texty na počítači, ale model sám může dělat chyby a vymýšlet si, proto jeho odpovědi kontrolujte stejně jako u jiné AI.