Milloin fine-tuning kannattaa ja milloin ei?
Kannattaa, kun tarvitaan pysyvää käyttäytymistä, jota ohjeilla ei saa aikaan: tarkasti rajattu muoto, erikoissanasto tai suuri määrä toistuvia tehtäviä, joissa lyhyempi prompti säästää kustannuksia. Ei kannata, kun tarve on ajantasainen tieto (se vanhenee hienosäädetyssäkin mallissa) tai vastausten lähteistäminen. Nyrkkisääntömme asiakastyössä: aloita promptauksesta, siirry RAG:iin, ja harkitse hienosäätöä vasta kun molemmat on kokeiltu.
Mitä fine-tuning maksaa ja vaatii?
Mallitoimittajat tarjoavat hienosäätöä rajapintansa kautta: maksat koulutusajosta ja hienosäädetyn mallin käytöstä tavallista korkeampaa tokenihintaa. Suurempi kustannus on aineisto: tarvitaan sadoista tuhansiin laadukasta esimerkkiä halutusta käyttäytymisestä, ja huono aineisto tekee mallista huonomman. Siksi hienosäätö on järkevintä, kun esimerkkidataa syntyy luonnostaan, esimerkiksi tikettihistoriasta.