Andrew Krizhanovsky style  almost 8 years ago

Commit id: 46a129cfbd89d846b6b1613fc7dd8b1d937655fa

deletions | additions      

       

В этой работе используются нейронные модели, созданные авторами проекта $RusVectores$~\cite{Kutuzov_2015}. А именно: модель, построенная по текстам Национального корпуса русского языка (НКРЯ или Ruscoprora), и модель, созданная на основе текстов отечественных новостных сайтов (Новостной корпус или News corpus). Модели доступны на сайте проекта $RusVectores$~\cite{Kutuzov_2015}.  Авторы $RusVectores$ А.~Кутузов и Е.~Кузьменко обращают внимание читателя на такие особенности НКРЯ, как ручной отбор текстов для пополнения корпуса и регулирование соотношения текстов разных жанров, малый размер основного корпуса, порядка 107 млн слов (для сравнения Новостной корпус включает 2.4 млрд токенов).   В работе~\cite{Kutuzov_2015} вводится понятие \textit{представительность корпуса} как способность отражать (указывать на) те ассоциации для слова, с которыми согласится большинство носителей. В своей работе ученые сравнивали различия в ассоциациях, порождаемых NN-моделями по данным НКРЯ и по данным веб-корпуса. Задача стояла заключалась  в том, чтобы найти слова, поиске слов,  значения которых в веб-корпусе существенно (или полностью) отличаются отличались  от значений в НКРЯ.