Andrew Krizhanovsky edited section_Methods_of_word_vector__.tex  about 8 years ago

Commit id: e4c93eafa2487744fc58c31dec51152c97bf563c

deletions | additions      

       

$w(t)$ находится содержащий его контекст, составляющий "окно" размера $2c$. В методе CBOW (continuous bag of words), наоборот, по контексту находится слово, входящее в него. Для максимизации $F(W)$ используется метод стохастического градиентного спуска.  Введем обозначения для нормированных сумм векторов: $M((a_{i}),n)=\frac{\sum_{i=1}^n a_{i}}{||\sum_{i=1}^n a_{i}||}$, $M((a_{i}, v), n+1)=\frac{\sum_{i=1}^n a_{i}+v}{||\sum_{i=1}^n a_{i}+v||}$ a_{i}+v||}$.  Рассмотрим синсет $S=\{v_k, k=1,...,|S|\}$.  \begin{definition}  Внутренностью $Int S$ синсета $S$ называется множество всех векторов $v_l \in S$, удовлетворяющих условию