Рейтинги университетов: кто виноват, кому выгодно и что делать?

В мире существует множество университетских рейтингов, ориентирующихся на самые разнообразные критерии: отраслевые рейтинги, национальные и международные, экспертные и студенческие. Специалисты выделяют три наиболее влиятельных мировых университетских рейтинга. Самым популярным из них считается британский Times Higher Education (THE) — он основан в первую очередь на оценке вузов по пяти направлениям (преподавание, исследования, цитирование, международное взаимодействие, доход от производственной деятельности). Другой известный рейтинг, Quacquarelli Symonds (QS), использует систему анкетирования для оценки репутации вуза среди ученых и работодателей, а также интересуется кадровой обеспеченностью университета. До 2009 года организации, составляющие два этих рейтинга, сотрудничали друг с другом, и из-за этого до сих пор имеют некоторые схожие критерии. К примеру, для обеих систем оценивания важен процент иностранных студентов и преподавателей в вузе. Для исследования цитируемости университета THE и QS используют базу данных Scopus.

Нельзя не отметить, что с этими рейтингами у российских университетов достаточно плотные отношения. Отечественные вузы нередко заказывают у них информационно-­консультационные услуги. Например, на сайте госзакупок есть такие позиции, как «Оказание услуг по созданию и размещению профиля QS Advanced Multimedia на веб-сайте www.TopUniversities.com компании QS Quacquarelli Symonds Ltd с целью повышения международной узнаваемости [­такого-то вуза]», «Оказание консультационных услуг по представлению методологии рейтингов Quacquarelli Symonds World University Rankings и анализу данных Заказчика в международном рейтинге QS», «Предоставление доступа к базе данных о ведущих мировых университетах QS Quacquarelli Symonds Limited». В беседах с авторами данной статьи представители российских университетов нередко упоминали, что подобное сотрудничество — косвенная гарантия высоких мест в рейтинге.

С 2003 года Шанхайский университет Цзяо Тун публикует рейтинг The Academic Ranking of World Universities (ARWU). В отличие от двух предыдущих систем, ARWU не полагается на опросы экспертов и не исследует качество обучения напрямую, а оценивает производительность вузов. Главными критериями ARWU считаются цитируемость в журналах Nature и Science, а также число обладателей Нобелевской и Филдсовской премий среди выпускников и преподавателей. В связи с этим в рейтинге ARWU с сильным отрывом лидирует Гарвардский университет, имеющий наибольшее количество именитых выпускников.

Положение российских университетов в общих рейтингах оставляет желать лучшего: высших результатов, как правило, достигает МГУ им. Ломоносова, но даже он не всегда попадает в первую сотню. К примеру, в рейтинге THE за 2021 год он занимает 194 место из-за низкой цитируемости и академической репутации. В рейтингах ARWU и QS МГУ занимает 93 и 95 места соответственно — также из-за низкой цитируемости. Несмотря на не самые лучшие результаты в общих таблицах, российские вузы занимают высокие места в рейтингах молодых вузов и предметных рейтингах — в прошлом году Высшая школа экономики заняла 31 место в списке молодых университетов по версии QS, а МГУ им. Ломоносова попал в группу университетов, занявших 51—75 место в предметном рейтинге ARWU по физике. Таких результатов удалось добиться во многом благодаря Проекту «5-100» — программе развития университетов, которая действовала с 2012 по 2020 год. Всего на нее было потрачено около 80 млрд руб­лей. Тем не менее высокие позиции в отраслевых рейтингах не всегда можно считать объективным результатом. Кроме того, заявленная задача Проекта «5-100» так и не была выполнена. Изначально предполагалось, что пять российских университетов по итогам программы смогут вой­ти в топ-100 одного из главных рейтингов, однако Счетная палата, которая провела анализ программы, пришла к выводу, что Проект «5-100» был малоэффективен.

Еще один рейтинг — RUR, Round University Ranking — позиционируется как глобальный и оценивает несколько сотен вузов со всего мира, его штаб-квартира находится в Москве. Рейтинг RUR содержит все показатели, используемые в рейтинге Times Higher Education, за исключением критерия «доход от производственной деятельности». Необработанные же данные для рейтингования предоставляются компанией Thomson Reuters.

Ряд как российских, так и зарубежных специалистов в области образования высказывают недовольство мировыми рейтингами: по их мнению, критерии большинства организаций не подходят для оценки российских вузов. В связи с этим многие отечественные организации также ведут свои рейтинги вузов — как мировых, так и национальных. Их главными критериями становятся развитие университета как бренда, подготовка специалистов в социально важных сферах (медицине, сельском хозяйстве, педагогике) и проходные баллы ЕГЭ, необходимые для поступления.

Наиболее влиятельными российскими рейтингами считаются списки от RAEX, «Интерфакса», Forbes, а также «Три миссии университета». Рейтинг «Интерфакса» под названием «Национальный рейтинг университетов» опирается на оценку уровня образования и исследовательских работ в вузе, а также принимает во внимание международные связи вуза и влияние на развитие города, в котором он находится. Первое место в этом рейтинге с максимальным результатом в 1000 баллов занимает МГУ им. Ломоносова, второе и третье места — МИФИ и МФТИ соответственно.

В национальном рейтинге RAEX главными критериями авторы называют уровень преподавания, сотрудничество с работодателями, ресурсную обеспеченность и востребованность среди абитуриентов. Кроме того, важную роль играют научные достижения выпускников вуза и количество публикаций в зарубежных журналах. По словам составителей RAEX, за последний год наибольшего прогресса добились педагогические университеты — это связано с увеличением числа бюджетных мест и финансовой помощи от государства.

Мировой рейтинг «Три миссии университета», учредителем которого стал Российский союз ректоров, учитывает такие факторы, как кадровая обеспеченность вуза, финансовые ресурсы, число иностранных студентов, цитируемость в научных СМИ и популярность в интернете. В рейтинге 2020 года первое место занял Гарвардский университет, а выше всех из российских вузов поднялся МГУ им. Ломоносова (21 место в общем списке).

Для кого и зачем составляются рейтинги университетов? У разных рейтингов — разная целевая аудитория, это могут быть абитуриенты и их родители, работодатели, принимающие решения лица, от которых зависит размер финансирования, получаемого тем или иным вузом, а также оценка эффективности работы руководства университета. Абитуриенты, опираясь на рейтинг, делают выбор в пользу того или иного учебного заведения. Диплом престижного вуза увеличивает шансы на трудоустройство: HR-специалисты отмечают, что при просмотре резюме они уделяют внимание диплому потенциального сотрудника. Многие крупные компании и корпорации сотрудничают с вузами в целях поиска талантливых молодых кадров. Для университетов же вхождение в топ определенных международных списков — задача, под которую выделяется финансирование, и место в рейтинге, которое в итоге получит вуз, показывает, насколько эффективно поработало руководство над выполнением этой задачи.

Однако ради того, чтобы оказаться в таком комплексном рейтинге повыше, университеты тратят ресурсы именно на укрепление своих позиций в этих конкретных списках, искусственно увеличивая цитируемость или иные показатели, необходимые для достижения определенной позиции. Высокие места в списках повышают как международную, так и национальную репутацию, инвесторы и государство выделяют дополнительные средства на развитие вуза. Достойные оценки университета на глобальном уровне также улучшают и имидж страны в целом.

Для работодателей и абитуриентов рейтинги, хотя и являются вспомогательными инструментами для выбора или оценки вузов, все же не могут быть единственным критерием. Например, количество опубликованных сотрудниками вуза статей или наличие лауреатов премий не имеют значения для большинства работодателей, ведь им нужны конкретные сотрудники, имеющие практический опыт и способные быстро влиться в производственный процесс. А на процесс обучения в университете повлияют, скорее, преподаватели и руководство кафедры или факультета, а не абстрактный критерий «международная репутация» вуза.

Поэтому работодателям и абитуриентам следует в первую очередь обращаться к специализированным рейтингам, в которых больше учитывается качество образования и шансы на успешное трудоустройство в нужной сфере.

В целом на примере университетских рейтингов хорошо прослеживается, как выбор методологии исследования влияет на результат. В рейтингах российских вузов в топ лидеров практически всегда входят одни и те же университеты: МГУ, НИУ ВШЭ, МФТИ, МИФИ и ряд других топовых вузов. Однако распределение мест между ними может заметно варьироваться, что зависит от выбранного подхода к формированию списка. Впрочем, это касается не только отечественных университетов — с международными рейтингами ситуация обстоит так же.

Один из главных недостатков всех университетских рейтингов в том, что они не учитывают специфику многих учебных заведений. Например, вследствие этого в числе лучших вузов страны крайне редко встречаются отраслевые, например, медицинские вузы, в том числе Сеченовский университет или Санкт-­Петербургский государственный медицинский университет им. И. П. Павлова. Такие перекосы могут быть связаны с тем, что составители списков в ходе исследования часто опираются на наукометрические показатели для оценки научной деятельности в вузе: количество публикаций, импакт-­фактор научных журналов, цитируемость статей и т. д. В то же время такие показатели закономерным образом различаются в разных сферах. Очевидно, что для проведения медицинского исследования зачастую необходимы колоссальные финансовые затраты, например, для проведения доклинических и клинических испытаний. Гуманитарные же дисциплины не требуют таких затрат на проведение исследований, по этой причине количество публикаций в этих сферах будет больше, чем в медицине или фармацевтике (но импакт-­фактор журналов, скорее всего, ниже).

Другой минус рейтингов связан с «нечистоплотностью» отдельных университетов. В некоторых случаях вузы заключают договор с научным издательством, которое гарантирует публикации в своих журналах, а университет поднимает свои показатели для рейтингов. Иначе говоря, вуз просто покупает «плодовитого» ученого или гарантированные публикации своих исследователей в нужных журналах. Можно ли это назвать наукой? Отображает ли рейтинг, в котором проводятся такие манипуляции, объективную ситуацию? Ответ очевиден — нет.

Среди наиболее распространенных недостатков методологии университетских рейтингов следует обратить внимание на то, что составители часто предпринимают попытки оценить такое субъективное понятие, как авторитет университетов в академической сфере и среди работодателей. Как правило, эксперты проводят достаточно масштабные опросы, однако в этом анкетировании практически никогда не принимают участие сами студенты или же выпускники. Тем не менее именно они могут иметь более объективное представление о качестве преподавания в университете, чем сторонние профессора или работодатели.

Еще один минус российских университетских списков — попытка определить качество образования в вузе через проходной балл ЕГЭ на бюджетное отделение. Во-первых, проходные баллы могут значительно варьироваться от факультета к факультету, и усредненное значение не позволит объективно оценить ситуацию. Во-вторых, составители не рассматривают ни количество бюджетных и коммерческих мест, ни условия приема победителей и призеров разнообразных олимпиад, ни качество преподавания, ни учебные планы, ни успеваемость студентов. Разумеется, оценить такие многогранные показатели в цифрах крайне трудно, однако и сводить все обучение к ЕГЭ некорректно.

Следующее «слабое место» рейтингов — предоставление данных для рейтингования самими университетами. Проблема не только в том, что вузы могут давать некорректную информацию (умышленно или нет — об этом поговорим ниже), но и в том, что некоторые высшие учебные заведения просто-­напросто отказываются от участия в исследовании, и тогда у составителей рейтинга остается два варианта: или вообще исключить этот университет из выборки, или попытаться собрать информацию самостоятельно, используя открытые источники.

C 2017 года авторы этой статьи, будучи сотрудниками редакции информационно-­сервисного портала Indicator.Ru, создали рейтинг эффективности работы пресс-­служб университетов — участников Проекта «5-100» по популяризации научных достижений сотрудников вузов (на данный момент команда «Научного проекта „Ломоносов“» по договоренности с Rambler Group продолжает заниматься контентным наполнением сайта Indicator.Ru). Рейтинг был создан прежде всего потому, что на тот момент ему не было аналогов (и нет до сих пор) — тема популяризации научных достижений довольно узка и, как правило, игнорируется более масштабными университетскими рейтингами. Нам же, как профильным специалистам, было важным понять, как организована эта деятельность в ведущих российских университетах.

Из года в год методология рейтингов незначительно трансформировалась под влиянием как обратной связи от представителей университетов, так и меняющихся практик популяризации науки, однако мы неизменно учитывали следующие факторы: работу пресс-­служб по написанию пресс-­релизов, основанных на свежих научных публикациях сотрудников университетов, подготовку эксклюзивных материалов для СМИ (колонок, интервью, статей и пр.), распространение материалов в российских и зарубежных СМИ, а также работу с социальными сетями. Важно отметить, что победа или просто нахождение в топе этого рейтинга не давали университетам никаких формальных наград или преимуществ — создателем и составителем списка является команда, издающая научно-­популярное СМИ, сам рейтинг не поддерживается ни Министерством науки и высшего образования, ни иными органами власти. Единственное, что он дает университетам, — возможность сопоставить свои результаты с результатами коллег из других вузов Проекта «5-100», а также понять свои сильные и слабые стороны.

Основой нашего рейтинга служат анкеты, которые заполняются сотрудниками университетских пресс-­служб. Количество вопросов в анкете никогда не превышало 21, а запрашиваемая информация касалась работы пресс-­служб за недавний период времени (6 или 12 месяцев). На заполнение анкеты мы отводили от двух до трех недель. Безусловно, работа с опросником требовала некоторого времени, однако все вопросы касались исключительно той информации, которой пресс-­службы должны владеть при условии добросовестного выполнения работы по популяризации науки (например, количество публикаций в зарубежных СМИ).

Что же показала наша работа с 2017 года? Прежде всего, представители далеко не всех университетов присылали опросники вовремя (максимальная задержка — 1 месяц). Каждый год были случаи отказов от заполнения анкеты, что вынуждало нас самостоятельно собирать информацию, используя только открытые источники (поисковые сервисы Google и «Яндекс», агрегаторы научных пресс-­релизов и так далее), что могло повлиять на результат рейтинга. И самое главное — ежегодно более половины университетов, заполнивших анкеты, предоставляли некорректную информацию, завышая свои показатели. Мы старались избежать этого: в каждой анкете и в каждом вопросе было прописано, что именно мы понимаем под тем или иным критерием (например, давалось определение научного пресс-­релиза). К сожалению, эта тактика не срабатывала — все анкеты приходилось перепроверять вручную, просматривая предоставленные вузами публикации. Интересно, что лидеры рейтинга (топ списка из года в год оставался примерно одинаковым — в него входили одни и те же университеты, которые менялись местами между собой) были заинтересованы как в своевременном предоставлении анкет, так и в корректности информации. Задержки с заполнением опросников и завышение показателей касались в основном университетов, которые в итоге оказывались в конце и середине списка.

К каким же выводам мы пришли? Несмотря на и так существенное количество университетских рейтингов, их число постоянно увеличивается — и это соответствует глобальным трендам. В условиях постоянно растущего количества информации необходимо искать новые способы ее фильтрации, отсечения недостоверных или «подтасованных» результатов. В то же время сделать это сложно, так как университетские рейтинги имеют своих бенефициаров, главная цель которых — заработать прямым или косвенным способом. Критерий «объективность данных», то есть использование четких, проверяемых, измеряемых цифрами показателей, также перестает работать, ведь даже объективные данные (например, количество научных публикаций) подвержены накруткам — в академической среде все знают, как повысить свой индекс Хирша, и даже известно, сколько это стоит. Впрочем, в профильной среде такие методы все равно будут замечены: человек, который «купил» себе высокоцитируемые статьи, не будет пользоваться уважением коллег. Получается, в реальной жизни в научно-­образовательной среде есть своя внутренняя метрика, — другое дело, что формализовать ее очень сложно, кроме того, далеко не все члены научного сообщества этого хотят (это было показано в ходе недавнего исследования «Трайбы и транспарентность: перспективы цифровых механизмов самоорганизации в российской науке») [1].

Будущее рейтингов (любых, не только университетских) вызывает немало вопросов. С одной стороны, им не доверяют (так как всегда есть вероятность, что методология несовершенна или место в списке попросту проплачено), а с другой — в них стремятся попасть. Нам кажется, что будущее за рейтингами с прозрачной методологией и техникой сбора информации, такими, в которых можно проверить все: от источника информации до того, как эта информация трансформировалась в конкретные баллы. Однако, чтобы это стало возможным, мало желания составителей рейтинга — необходимо, чтобы само сообщество хотело объективных данных.

Одна из возможных траекторий, позволяющих ускорить составление «рейтинга будущего» (с прозрачной методологией и техникой сбора информации), — это совокупность узкопрофильных рейтингов, каждый из которых оценивает лишь один параметр, как, например, наш рейтинг эффективности деятельности университетских пресс-­служб по популяризации научных достижений университета. Методология рейтинга открыта, мы поясняем, как информация переводится в баллы, указываем на сильные и слабые стороны университетов, помогаем вузам улучшать свои позиции в этом списке, оказывая услуги по популяризации науки, помогаем пресс-­службам работать с информацией, готовить качественные тексты, работать со СМИ. Результаты этой работы можно оценить такими метриками, как количество публикаций, просмотры, охваты. Безусловно, этот рейтинг приносит пользу и нам, его составителям, повышая интерес профильной аудитории к нашей работе, привлекая внимание руководства университетов, создавая в вузах заинтересованность в улучшении своих показателей.

Подобную практику составления узкоспециализированных списков сложно масштабировать — ­все-таки в наш рейтинг входил лишь 21 вуз и вся информация перепроверялась вручную. Однако здесь на помощь могут прийти новые технологии: искусственный интеллект — для сбора и анализа большого количества разнородных данных, распределенный реестр — для верификации данных и обеспечения прозрачности работы с ними.

---

[1] Космарский А. А., Картавцев В. В., Подорванюк Н. Ю., Боде М. М. Трайбы и транспарентность: перспективы цифровых механизмов самоорганизации в российской науке // Мониторинг общественного мнения: экономические и социальные перемены. 2019. № 6. С. 65—90. https://doi.org/10.14515/monitoring.2019.6.05.