Andrew Krizhanovsky +cite goldberg  almost 8 years ago

Commit id: a07ebeeebbe0f426ed066bec5819a25cd57af217

deletions | additions      

       

Идея векторного представления слов с помощью нейронных сетей получила мощный толчок благодаря работам чешского ученого Томаса Миколова \cite{Mikolov_2011}, \cite{Mikolov_2012}, \cite{Mikolov_2013}. Главное достоинство работы Т.~Миколова в том, что он разработал инструмент \textit{word2vec} для создания моделей нейронных сетей (далее будем их называть \textit{NN-моделями}) на основе текстов корпусов. Забегая вперед можно сказать, что, с нашей точки зрения, не меньший вклад сделали и отечественные ученые Андрей Кутузов и Елизавета Кузьменко, которые приготовили с помощью word2vec NN-модели для русского языка на основе ряда корпусов. Свой инструмент они назвали RusVectores~\cite{Kutuzov_2015}.  Бедность подхода, предложенного Т.~Миколовым в том, что поиск осмысленных пар семантических отношений работает только на некоторых ярких примерах ($queen - woman + man \approx king$). Малейшее отклонение в сторону даёт неудовлетворительные результаты. Слабость математической стороны работ Т.~Миколова была подмечена в недавней работе Голдберга и Леви (todo см. Литература № 4). Леви~\cite{Goldberg_2014_word2vec}.  Работа Голдберга и Леви, посвященная обсуждению результатов Т.~Миколова, заканчивается обращением к исследователям: "Can we make this intuition more precise? We’d really like to see something more formal."~\cite{Goldberg_2014_word2vec} (Перевод: "Можем ли интуитивный подход быть сделан более точным? Мы действительно хотели бы увидеть нечто более формальное.") В какой-то мере настоящая статья является ответом на вызов этих известных исследователей в области компьютерной лингвистики.  Работа Голдберга и Леви, посвященная обсуждению результатов Т.~Миколова, заканчивается обращением к исследователям: "Can we make this intuition more precise? We’d really like to see something more formal." (Goldberg, Levy. 2014. Литература No 4) (Перевод: "Можем ли интуитивный подход быть сделан более точным? Мы действительно хотели бы увидеть нечто более формальное.") В какой-то мере настоящая статья является ответом на вызов этих известных исследователей в области компьютерной лингвистики.  todo сделать красивый citation для Голдберга и Леви.  \begin{quote}