Miksi inferenssin hinta on laskenut niin nopeasti?
Kolme tekijää: laitteistot kehittyvät, mallit tehostuvat (sama laatu pienemmällä laskennalla) ja kilpailu pakottaa hinnat alas. Saman tasoisen vastauksen tuottaminen maksaa nyt murto-osan siitä, mitä se maksoi pari vuotta sitten. Yritykselle tämä tarkoittaa, että vuosi sitten kannattamaton automaatio voi olla tänään kannattava, joten hintalaskelmat kannattaa päivittää säännöllisesti.
Mitä eroa on koulutuksella ja inferenssillä?
Koulutus säätää mallin painot datan avulla: se vaatii valtavan laskentakapasiteetin viikoiksi tai kuukausiksi ja tehdään harvoin. Inferenssi käyttää valmiita painoja vastauksen laskemiseen sekunneissa. Kun puhutaan tekoälyn sähkönkulutuksesta, kannattaa erottaa nämä: yksittäinen kysely on pieni, mutta miljardit päivittäiset inferenssiajot kasvattavat kokonaisuuden suureksi.