Andrew Krizhanovsky edited WVR.tex  almost 8 years ago

Commit id: ccb8a3850baaeeecc11353b7ff120492b28f7365

deletions | additions      

       

$w_t$ находится содержащий его контекст, составляющий "окно" размера $2c$ слов. В методе CBOW, наоборот, по контексту находится слово, входящее в него. Для максимизации $F(W)$ используется метод стохастического градиентного спуска.  В работах Т.~Миколова при построении нейронных сетей учитывается только локальный контекст слов   (так называемое (упомянутое выше  "окно"). Существуют попытки \cite{Huang_2012} учесть глобальный контекст (весь документ). Это полезно при разрешении лексической многозначности.