this is for holding javascript data
Andrew Krizhanovsky context-predicting models
almost 8 years ago
Commit id: 34d72cd349afabfde2b44aa24656946e3ca7d76f
deletions | additions
diff --git a/WVR.tex b/WVR.tex
index 281a92a..26b1925 100644
--- a/WVR.tex
+++ b/WVR.tex
...
\section{Векторное представление слов: блеск и нищета построения нейронных сетей инструментом word2vec}
Идея векторного представления слов с помощью нейронных сетей получила мощный толчок благодаря работам Томаса Миколова \cite{Mikolov_2011, Mikolov_2012, Mikolov_2013}. Главное достоинство работы Т.~Миколова в том, что он разработал инструмент \textit{word2vec} для создания моделей нейронных сетей
(далее будем их называть \textit{предсказательными моделями}, см. context-predicting models в работе~\cite{Baroni_2014})
на основе текстов корпусов.
Далее такие модели нейронных сетей
будем называть \textit{CP-моделями} от англ. context-predicting models, предсказательные модели или модели, использующие для предсказания данные контекста, в соответствии с названием, предложенным Марко Барони и его коллегами в работе~\cite{Baroni_2014}.
Забегая вперед, можно сказать, что, с нашей точки зрения, не меньший вклад сделали и отечественные ученые Андрей Кутузов и Елизавета Кузьменко, которые приготовили с помощью word2vec CP-модели для русского языка на основе ряда корпусов. Свой инструмент они назвали RusVectores~\cite{RusVectores-website}.
Бедность подхода, предложенного Т.~Миколовым в том, что поиск осмысленных пар семантических отношений работает только на некоторых ярких примерах ($queen - woman + man \approx king$).