this is for holding javascript data
Andrew Krizhanovsky edited section_Methods_of_word_vector__.tex
about 8 years ago
Commit id: 59091e6718c18c5462771f91411149349d677af5
deletions | additions
diff --git a/section_Methods_of_word_vector__.tex b/section_Methods_of_word_vector__.tex
index 1963c2c..26c05c2 100644
--- a/section_Methods_of_word_vector__.tex
+++ b/section_Methods_of_word_vector__.tex
...
Векторным словарем назовем множество $D=\{w_i \in \mathbb{R}^{|D|}\}$, где $i$-ая компонента вектора $w_i$ равна 1, а остальные компоненты -- нули.
\end{definition}
Задача векторного представления слов состоит в построении линейного отображения
$L: D \rightarrow \mathbb{R}^N$,
где $N<<|D|$, а вектор $v=L(w), w \in D$ имеет компоненты $v_i \in \mathbb{R}$. Полагая что линейное отображение $L$ реализуется с помощью матрицы $W$, получаем $v=Ww$, причем для нахождении матрицы $W$ используют различные методы, в частности, основанные на нейронных сетях. Наибольшую популярность в самое последнее время приобрели CBOW и Skip-gram методы, предложенные в \cite{mikolov2013efficient} и являющиеся, по сути, модификацией метода максимального правдоподобия.