Kalbos modeliai be perteklinių žodžių

Knyga yra lakoniškas ir tuo pačiu išsamus vadovas kalbos modelių kūrimui. Nagrinėjamos matematinės mašininio mokymosi pagrindai, vektorinių atvaizdų ir neuroninių tinklų darbas. Išdėstyti kalbos modeliavimo principai: nuo žodžių maišų ir įterpimų iki rekursinių tinklų ir transformatorių architektūros. Pateikiamos pilnos aprašytų modelių ir metodų realizacijos Python kalba naudojant PyTorch framework, įskaitant pavyzdžius Jupyter bloknotuose. Aprašyti didelių kalbos modelių mokymo, rafinavimo ir optimizavimo metodai: LoRA, prompt inžinerija, kokybės vertinimas, taip pat autorinių teisių ir etikos klausimai. Paskutinėje skyriuje pateikti tolesnio tyrimo keliai: ekspertų mišinys, modelių suspaudimas, preferencijų pagrindu atliekamas derinimas, multimodalūs modeliai.