Qwen · Jazykové modely · 15 mld. parametrů
Jazykový model s přepínáním mezi režimem přemýšlení (složitá logika, matematika, kód) a rychlým režimem pro běžný rozhovor.
Uživatele, kteří chtějí dobrý poměr výkonu a nároků na počítač a volnou licenci.
Kontext 32 768 tokenů, s technikou YaRN až 131 072. Spustitelný v nástrojích na lokální modely po kvantizaci.
Potřebuje počítač s 32 GB paměti nebo grafickou kartu s větší pamětí. Odhad paměti jen pro váhy modelu: zhruba 8,1 GB ve 4bitové podobě a 29,5 GB v plné přesnosti.
Karta zmiňuje vícejazyčné vykonávání pokynů a překlad, češtinu zvlášť neuvádí. Ověřit testem.
Karta upozorňuje, že statická technika YaRN pro dlouhý kontext může zhoršit výkon u kratších textů, proto ji zapínejte jen při opravdu dlouhém vstupu.
Licence: Apache 2.0. Podle licence jde použít i komerčně, s dodržením jejích podmínek.