Ekaterina Yaryshkina edited cite_Karpenko_2014_cite_Shtyhno_2014_cite__.tex  about 8 years ago

Commit id: 5caea587d8333eb76467fafbc84a2908408da0a7

deletions | additions      

       

Академическое ранжирование ~--- процесс построения рейтинга высших учебных заведений на основе учёта различных факторов. Ранжирование проводится университетами, журналами, правительством, независимыми экспертами. При большом количестве ранжируемых университетов количество национальных вузов, вошедших в число лучших вузов мира, становится важным показателем, характеризующим систему высшего образования \cite{Karpenko_2014}. В мире существует достаточно большое число рейтингов вузов. Рейтинги создаются для повышения конкуренции, как между отдельными вузами, так и между национальными системами высшего образования. При составлении каждого рейтинга исследовательская группа использует собственную методологию ~--- за основу берутся различные критерии, их сочетания и методы сбора информации. Для существующих рейтингов такие термины как «качество образования», «уровень научных исследований», «академическая репутация» могут иметь различное значение. Международные рейтинги университетов задают стандарты современного университета, которым пытаются следовать многие вузы, и пытаются влиять на исследователей. Однако далеко не всеми исследователями университетские рейтинги оцениваются позитивно \cite{Shtyhno_2014}.   На сегодняшний день не существует "идеального" рейтинга, то есть такого рейтинга, который сможет охватить все существующие вузы, будет обладать прозрачной методикой и все будут довольны результатами ранжирования. Поскольку нет "идеального" рейтинга, то не представляется возможным сравнить уже существующие. Составители рейтингов преследуют определенные цели и ориентируются на целевую аудиторию при составлении рейтингов. Так в одном рейтинге отдельный вуз может занимать лидирующие места, а в другом занимать позицию далеко не в первом десятке. Не представляется возможным равняться сразу на всех. Ключевым фактором, влияющим на величину рейтинга, является наличие (или отсутствие) того или иного показателя. Поэтому при ранжировании любой перечень учитываемых показателей должен опираться на научную основу \cite{Azgaldov_2012}.  Основной целью исследования является построение нового рейтинга по данным из Википедии и сравнение нового рейтинга с существующими путем вычисления метрики "ошибка расстояния (error distance)". К наиболее известным моделям глобальных рейтингов относят \cite{Skalaban_2013}:   \begin{itemize}  \item академический рейтинг университетов мира (ARWU, Academic Ranking of World Universities),  \end{itemize}  \begin{itemize}  \item международный рейтинг университетов британского издания Times Higher Education (THE),  \end{itemize}  \begin{itemize}  \item вебометричеcкий рейтинг испанской лаборатории Cybermetrics (Webometrics).   \end{itemize}  Целью работы является сравнение существующих глобальных университетских рейтингов путем вычисления "ошибки расстояния" и проверка устойчивости данного метода путем перестановках объектов (в данном случае вузов) внутри списка (рейтинга).  ARWU составляется Шанхайским университетом Цзяо Тун на основе шести показателей: число выпускников и сотрудников, удостоенных Нобелевской или Филдсовской премией; число высоко цитируемых исследователей; число статей, опубликованных в журналах Nature и Science; число статей, проиндексированных в ScienceCitationIndex ~--- Expanded и SocialSciencesCitationIndex; академическая производительность (per capita performance of a university) — соотношение пяти вышеизложенных показателей к численности преподавательского состава вуза. Одной из причин значительного влияния ARWU является тот факт, что его методика была признана научно обоснованной, стабильной и прозрачной \cite{Kincharova_2013}.  Рейтинг THE содержит индикаторы, отражающие, как утверждают создатели, «все их (исследовательских университетов) основные миссии». Всего индикаторов тринадцать, они сгруппированы по пяти критериям: преподавание, исследование, цитирование, вложения индустрии, международная перспектива \cite{Kincharova_2013}.  Рейтинг университетов мира Webometrics составляется испанской исследовательской группой Cybermetrics Lab. Концепция рейтинга Webometrics основана на известном высказывании Б.Гейтса: «если вас нет в интернете, значит, вас нет в бизнесе» \cite{Dubinsky_2012}. Рейтинг основан на оценке четырех факторов:  \begin{itemize}  \item presence (присутствие) ~-- количество проиндексированных страниц,   \end{itemize}  \begin{itemize}  \item impact (влияние) ~-- количество уникальных внешних ссылок на сайт,  \end{itemize}  \begin{itemize}  \item openness (открытость) ~-- количество доступных на сайте документов в форматах .pdf, .doc и .ppt,   \end{itemize}  \begin{itemize}  \item excellence (превосходство) ~-- цитирование.  \end{itemize}  Гипотеза вебометрического рейтинга ~--- рейтинг сайтов вузов соответствует рейтингу самих вузов.  В данном исследовании проверяется гипотеза викиметрики (wikiometrics) — степень популярности статей в Википедии соответствует позиции объекта (здесь~--- вуза) в рейтинге. У каждого значительного вуза есть собственная статья в Википедии. Статья Википедии имеет как количественные, так и качественные параметры. В этом исследовании рассматривается 10 количественных параметров: объем статьи (в килобайтах); число редакторов; количество правок; количество интервики (гиперссылки на статьи на других языках о данном объекте); число просмотров; число наблюдателей; количество перенаправлений; число входящих ссылок; число исходящих ссылок; число внешних ссылок.  Для первого этапа построения нового рейтинга вузов по данным Википедии было отобрано 65 статей вузов. Объектом исследования являются статьи из Английской Википедии, поскольку Википедия на английском языке более разнообразна. Для каждого вуза собрана статистика по 10 параметрам статьи по состоянию на 2015 год.   При ранжировании важное значение имеет не только выбор параметров, но и шкала весовых коэффициентов. На первом этапе составлен Википедийный рейтинг вузов с одинаковым весом для каждого из параметров~--- каждый из 10 параметров проранжирован по методу Борда, затем 65 вузов расположены в порядке уменьшения суммы полученных "голосов". Из этого следует, вуз мог получить максимум 650 "голосов" (первое место в рейтинге) и минимум 10 "голосов" (последнее место в рейтинге).   На сегодняшний день нет эталонного рейтинга, а существующие рейтинги считаются несовершенными, поэтому нередко подвергаются критике. Каждый из рейтингов использует свою методологию ранжирования, собственные параметры и весовые коэффициенты. Итак, вопрос сравнения рейтингов является актуальным. В этом исследовании для сравнения двух рейтингов предложено вычислять ошибку расстояния между двумя списками путем попарного сравнения. Если выбранная пара в первом списке имеет такой же порядок, как и во втором списке, то ошибка равна нулю, иначе ошибка равна единице. После сравнения двух упорядоченных списков получаем два значения:   \begin{itemize}  \item $Err$ ~--- сумма всех ошибок при парном сравнении двух списков.  \end{itemize}  \begin{itemize}  \item $Uniq$ ~--- количество уникальных объектов в каждом списке (в процентах).  \end{itemize}  \textit{Определение: Ошибкой расстояния $Err$ между двумя упорядоченными списками вузов (рейтингами) $\{X\} = (x_1, x_2,...,x_n)$ и $\{Y\} = (y_1, y_2,...,y_m)$ называется величина, удовлетворяющая условию,}  \begin{equation}  v = x_{i_1} \land v = y_{j_1} \\  w = x_{i_2} \land w = y_{j_2} \\  i_1 < i_2 \\  v \neq w \\  \end{equation}  \textit{где $x_{i_1}, x_{i_2}$ ~--- вузы в первом рейтинге, $y_{i_1}, y_{i_2}$ ~--- вузы во втором рейтинге, \\}  \textit{\(v, w\) ~--- различные вузы. \\}  \textit{Ошибки зависят от того, как соотносятся индексы \(j_1, j_2\) в списке \(\{Y\}\). \\}  \begin{equation}  Err_{v,w} = \left\{\begin{matrix}  0, & j_1 < j_2 \\   1, & j_1 > j_2  \end{matrix}\right.  \end{equation}  \begin{equation}  Err~(X,Y) = \sum_{\substack{v\neq w\\  v,w\epsilon \{X\},\{Y\}}}Err_{v,w}  \end{equation}  Сравним два тестовых рейтинга: $Test_{Webometrics}$ и $Test_{Wikipedia}$ (см. Табл.1). Пусть в каждом из них будет по 5 вузов. Списки различаются на один объект: в первом есть Petrozavodsk State University, а во втором~--- Yale University.  \begin{table}