Token je kousek textu, na které si model text dělí — zhruba čtyři znaky, tedy asi tři čtvrtiny běžného anglického slova. V tokenech se měří délka zadání i cena za API.
Model nečte písmena ani slova, ale tyhle kousky. Čeština je na tokeny dražší než angličtina: diakritika a skloňování rozpadnou slovo klidně na tři tokeny, kdežto anglické slovo bývá jeden. Stejně dlouhý český text tak stojí zhruba o polovinu víc.
Prakticky to potřebujete vědět ze dvou důvodů: ceníky API se udávají za milion tokenů zvlášť na vstupu a na výstupu, a délka konverzace je omezená v tokenech, ne ve zprávách.
Příklad
Normostrana textu (1 800 znaků) je česky asi 700–900 tokenů. Při ceně $5 za milion tokenů na vstupu vyjde na necelý půl cent.
Kde na to narazíte
Claude — Nejlepší pro kódování, dlouhé texty a bezpečné agenty
ChatGPT — Nejrozšířenější AI — Custom GPTs, hlas, kód, obrázky
Souvisí s tím
Kontextové okno — Kontextové okno je maximum textu, které model udrží najednou — zadání, přiložené dokumenty i celou dosavadní konverzaci dohromady.
API — API je způsob, jak model volat z vlastního programu místo z chatu.
Inference — Inference je samotné použití hotového modelu — okamžik, kdy z vašeho zadání vzniká odpověď.