this is for holding javascript data
Andrew Krizhanovsky + (разреженного)
almost 8 years ago
Commit id: 808bf06e31cc2285a3e59abc5469ac976c26671a
deletions | additions
diff --git a/WVR.tex b/WVR.tex
index 49f3017..0bdb56f 100644
--- a/WVR.tex
+++ b/WVR.tex
...
Задача векторного представления слов состоит в построении линейного отображения
$L: D \rightarrow \mathbb{R}^N$,
где $N<<|D|$, а вектор $v=L(w), w \in D$, $v$ имеет компоненты $v_j \in \mathbb{R}$. Эот процесс называется распределенным (distributed) векторным представлением слов.
Цель его состоит в замене очень "тощего"
(разреженного) множества $D \in \mathbb{R}^{|D|}$,
в которое входят веторы с нулевым взаимным скалярным произведением, на некоторое подмножество из $\mathbb{R}^N$,
векторы которого расположены таким образом, что их компоненты позволяют использовать скалярное произведение нормированных векторов в качестве меры их похожести (similarity), что принято в соотвествующих задачах обработки языков. Полагая что линейное отображение $L$ реализуется с помощью матрицы $W$, получаем $v=Ww$, прчем для нахождении матрицы $W$ используют различные методы, в частности, основанные на нейронных сетях. Наибольшую популярность в самое последнее время приобрели CBOW и Skip-gram методы, предложенные в работе~\cite{Mikolov_2013} и являющиеся, по сути, модификацией метода максимального правдоподобия.
При этом в методе Skip-gram матрица $W$ максимизирует функцию $F(W)$ вида