Miten embedding eroaa hakusanahausta?
Perinteinen haku vertaa sanoja: "loma-anomus" ei löydä dokumenttia, jossa puhutaan vapaapyynnöstä. Embedding-haku vertaa merkityksiä: molemmat lauseet sijoittuvat vektoriavaruudessa lähelle toisiaan, joten haku osuu. Vektorissa on tyypillisesti satoja tai tuhansia lukuja, ja jokainen luku kuvaa jotain opittua merkityksen ulottuvuutta. Tämä on RAG-ratkaisujen ja semanttisen haun perusta.
Missä embeddingejä käytetään yrityksissä?
Sisäisessä tiedonhaussa, asiakaspalvelun ohjautumisessa (samankaltaiset tiketit löytyvät automaattisesti), suosituksissa ja duplikaattien tunnistuksessa. Embeddingin laskeminen on halpaa: mallitoimittajien rajapinnoissa hinta on murto-osa varsinaisen kielimallin käytöstä, joten suurenkin dokumenttimassan indeksointi maksaa tyypillisesti euroja, ei satoja euroja.