← Open source modely

Jak spustit AI model u sebe

Otevřený model si můžete stáhnout a pouštět na vlastním počítači. Nic se neposílá na cizí server, funguje to i bez internetu a neplatíte za každou odpověď. Zadarmo to ale není: platíte počítačem a vlastním časem. Tenhle průvodce říká, co je k tomu potřeba a jak začít nejjednodušší cestou.

Kdy to má smysl a kdy ne

Lokální provoz se hodí, když nechcete posílat citlivé texty do cizí služby, chcete se s modely učit nebo potřebujete něco, co poběží bez internetu.

Nehodí se, když chcete nejlepší dostupnou kvalitu bez starostí. Největší modely (stovky miliard parametrů) doma nespustíte a malé modely jsou slabší než velké placené služby. Pro takové úlohy je rozumnější API nebo běžný chatbot.

Co k tomu potřebujete

Rozhoduje paměť. Model se musí vejít do operační paměti počítače, nebo do paměti grafické karty, a ještě zbýt rezerva na provoz. Pro hrubý odhad stačí velikost modelu: ve zmenšené (kvantizované) podobě zabere zhruba půl gigabajtu na miliardu parametrů, v plné přesnosti asi dva.

Dokumentace Hugging Face popisuje formát GGUF, ve kterém se zmenšené modely obvykle distribuují. Zápis Q4_K označuje čtyřbitové zmenšení (zhruba 4,5 bitu na váhu), takže model z 8 miliard parametrů zabere řádově 5 GB.

Podle dokumentace LM Studio je na Windows doporučeno alespoň 16 GB paměti a 4 GB paměti grafické karty a na macOS čip Apple Silicon s 16 GB a víc (u 8 GB paměti pouze menší modely). Jsou to doporučení, ne tvrdé minimum.

PočítačCo zhruba unesePříklady z přehledu
Běžný notebook, 8–16 GB pamětiModely do asi 8 miliard parametrů ve zmenšené podoběGemma 4 E2B a E4B, Qwen3-8B, Ministral 3 14B, Granite 4.1 3B, SmolLM3, MiniCPM5
Výkonnější počítač, 32 GB paměti nebo grafika s 16–24 GBModely do asi 30 miliard parametrůQwen3-14B, Qwen3.8-27B, gpt-oss-20b, Gemma 4 31B
Pracovní stanice, 64 GB a víc nebo více karetVětší modely a obrázkové či video modelygpt-oss-120b (podle karty jedna 80GB karta), Wan 2.2 (karta zmiňuje 80 GB)
Server nebo APIObří modely, doma nespustitelnéDeepSeek V3.2 a V4, Kimi K3, GLM-5.3

Čísla jsou odhad. Skutečná spotřeba záleží na délce rozhovoru (kontextu), nastavení a programu, ve kterém model pustíte.

Cesta 1: Ollama (příkazový řádek)

Ollama je aplikace pro spouštění modelů na vlastním počítači. Podle jejich dokumentace se instaluje z webu ollama.com/download, kde vyberete macOS, Windows nebo Linux.

  1. Nainstalujte Ollamu z ollama.com/download a spusťte ji. Na Linuxu, pokud neběží, spusťte server příkazem ollama serve.
  2. V terminálu zadejte příkaz, který model stáhne a rovnou s ním otevře rozhovor. V dokumentaci Ollamy je jako příklad ollama run gemma4:e2b.
  3. Pište zprávy jako v chatu. Rozhovor ukončíte zadáním /bye.
  4. Další modely hledejte v knihovně na ollama.com/search. Název z knihovny dosadíte za ollama run.

Modely z Hugging Face jde pustit také: Ollama umí spouštět soubory ve formátu GGUF příkazem ollama run hf.co/{uživatel}/{repozitář}. Podle dokumentace Hugging Face se, pokud je k dispozici, vybere zmenšení Q4_K_M; jiné zvolíte přidáním :{zmenšení} na konec.

Pozor: GGUF verze často nevytváří autor modelu, ale někdo třetí. Stahujte jen od autorů, kterým věříte, a u každého modelu zkontrolujte licenci.

Cesta 2: LM Studio (okno s tlačítky)

LM Studio je aplikace s grafickým rozhraním, která se hodí, když nechcete používat terminál. Podle dokumentace běží na macOS (Apple Silicon, macOS 14 a novější), Windows (x64 s podporou AVX2 nebo ARM) i Linuxu (Ubuntu 20.04 a novější) a umí fungovat zcela offline, jakmile má stažené soubory modelu.

  1. Stáhněte LM Studio z lmstudio.ai/download a nainstalujte ho.
  2. V aplikaci stáhněte váhy modelu (nabídne výběr a stahování přímo v programu).
  3. Model načtěte a pište si s ním v okně rozhovoru.
  4. Chcete-li model použít ve vlastním programu, LM Studio podle dokumentace nabízí místní rozhraní REST API včetně části kompatibilní s API OpenAI.

Podmínky používání samotné aplikace LM Studio si před firemním použitím zkontrolujte u výrobce.

Jak ověřit, jestli model umí česky

Modelová karta češtinu často neuvádí a „umí česky“ znamená u modelů hodně různých věcí. Nejspolehlivější je vlastní krátký test. Zkuste pět úkolů ze své práce: shrnout odstavec, přeložit text, napsat zdvořilý e-mail, odpovědět na otázku z oboru a opravit gramatiku.

Všímejte si skloňování, vymyšlených slov a toho, jestli model nezačne odpovídat anglicky. Z přehledu češtinu výslovně uvádí karta Granite 4.1; Gemma 4 uvádí více než 140 jazyků. U ostatních jde o ověření testem.

Bezpečnost a licence

Stahujte modely jen z oficiálních stránek autorů nebo z ověřených zdrojů. Soubory modelů z neznámých míst mohou být upravené.

Než model nasadíte ve firmě nebo pro klienta, přečtěte si licenci. Apache 2.0 a MIT jsou volné, ale třeba Llama, FLUX.1 dev, GLM-5.3, Kimi K3 nebo Nemotron mají vlastní podmínky. Při lokálním běhu zůstávají vaše texty na počítači, ale model sám může dělat chyby a vymýšlet si, proto jeho odpovědi kontrolujte stejně jako u jiné AI.

Zdroje