Miksi tokenit vaikuttavat hintaan?
API-käytössä maksat syötetyistä ja tuotetuista tokeneista erikseen, ja hinnat ilmoitetaan miljoonaa tokenia kohden. Esimerkiksi Claude Sonnet 5.5:n hinta on 2 dollaria miljoonalta syötetokenilta ja 10 dollaria miljoonalta tuotostokenilta. Suomi on tokenisoinnissa englantia kalliimpaa, koska sama asia vaatii enemmän tokeneita. Käytännön merkitys on silti usein pieni: tyypillinen sähköpostin mittainen tehtävä maksaa API:ssa sentin murto-osia.
Paljonko tokeneita teksti sisältää?
Karkea muistisääntö suomelle: yksi token on noin 2–3 merkkiä eli tavallinen A4-sivu tekstiä on suuruusluokkaa tuhat tokenia. Tarkan määrän näkee mallitoimittajien tokenilaskureilla. Tokeniraja selittää myös, miksi pitkä keskustelu alkaa "unohtaa" alkuaan: kun konteksti-ikkuna täyttyy, vanhinta sisältöä jää pois.