this is for holding javascript data
Andrew Krizhanovsky edited section_Methods_of_word_vector__.tex
about 8 years ago
Commit id: f7b840f5b599b4467e8f56800044935e222c7c71
deletions | additions
diff --git a/section_Methods_of_word_vector__.tex b/section_Methods_of_word_vector__.tex
index bc37992..98e9756 100644
--- a/section_Methods_of_word_vector__.tex
+++ b/section_Methods_of_word_vector__.tex
...
p(w_{t+j}|w_t)=\frac{\exp u_{t+j}}{\sum_{i=1}^{|D|}\exp u_i}, \qquad u_i = (Ww_i, Ww_t)
$$
где $(\cdot, \cdot)$ -- символ скалярного произведения, $T$-- объем обучающего контекста. Здесь по слову
$w(t)$ находится содержащий его контекст, составляющий "окно" размера $2c$. В методе CBOW (continuous bag of words), наоборот, по контексту находится слово, входящее в
него.Для него. Для максимизации $F(W)$ используется метод стохастического градиентного спуска.
Введем обозначения для нормированных сумм векторов: $M((a_{i}),n)=\frac{\sum_{i=1}^n a_{i}}{||\sum_{i=1}^n a_{i}||}$, $M((a_{i}, v), n+1)=\frac{\sum_{i=1}^n a_{i}+v}{||\sum_{i=1}^n a_{i}+v||}$