Andrew Krizhanovsky edited section_Methods_of_word_vector__.tex  about 8 years ago

Commit id: f7b840f5b599b4467e8f56800044935e222c7c71

deletions | additions      

       

p(w_{t+j}|w_t)=\frac{\exp u_{t+j}}{\sum_{i=1}^{|D|}\exp u_i}, \qquad u_i = (Ww_i, Ww_t)  $$  где $(\cdot, \cdot)$ -- символ скалярного произведения, $T$-- объем обучающего контекста. Здесь по слову  $w(t)$ находится содержащий его контекст, составляющий "окно" размера $2c$. В методе CBOW (continuous bag of words), наоборот, по контексту находится слово, входящее в него.Для него. Для  максимизации $F(W)$ используется метод стохастического градиентного спуска. Введем обозначения для нормированных сумм векторов: $M((a_{i}),n)=\frac{\sum_{i=1}^n a_{i}}{||\sum_{i=1}^n a_{i}||}$, $M((a_{i}, v), n+1)=\frac{\sum_{i=1}^n a_{i}+v}{||\sum_{i=1}^n a_{i}+v||}$