Mitä konteksti-ikkunan koko tarkoittaa käytännössä?
Iso ikkuna tarkoittaa, että voit antaa mallille kokonaisen sopimuksen, vuosikertomuksen tai koodikannan kerralla ja kysyä siitä mitä vain. 200 000 tokenia riittää useimpiin yksittäisiin dokumentteihin, miljoonan tokenin ikkunaan mahtuu jo pieni kirjahylly. Ikkunan täyttäminen ei silti ole ilmaista: API-käytössä jokainen syötetty token maksaa, ja ylipitkä konteksti voi heikentää tarkkuutta, kun olennainen hukkuu massaan.
Miksi keskustelu unohtaa asioita, vaikka ikkuna on iso?
Kun keskustelun yhteispituus ylittää ikkunan, sovellus tiivistää tai pudottaa vanhinta sisältöä, eikä malli enää näe sitä. Toinen syy on, että malli painottaa kontekstin alkua ja loppua keskikohtaa enemmän. Käytännön keino: aloita uusi keskustelu ja liitä tiivistelmä aiemmasta, tai käytä projektitoimintoja, joissa pysyvät ohjeet säilyvät keskustelusta toiseen.