Как и зачем измерять профессиональные репутации?

Как и зачем измерять профессиональные репутации?[1]

Рейтинги существенно помогают принимать самые разные решения: от выбора гостиницы или модели мобильного телефона на основе потребительских рейтингов до ставок по кредитам для целых государств на основе кредитных рейтингов, подготовленных крупными агентствами. При этом в одних случаях мы склонны в большей степени доверять мнению таких же рядовых «пользователей», как мы сами, в других — мнению авторитетных экспертов. К­огда-то нас больше интересует субъективный опыт потребителей товаров и услуг, а ­когда-то — чистые данные, на основе которых независимые и непредвзятые эксперты сделают свои выводы.

Большая часть рейтингов, с которыми мы сталкиваемся в повседневной жизни, относятся либо к потребительскому, либо к экспертному типу. При составлении экспертных рейтингов предполагается, что их авторы основывают свои выводы на ­каких-то объективных, в той или иной степени формализованных критериях. Однако эксперты разбираются в своей области, но не являются активными действующими игроками. Кинокритики не снимают собственных фильмов, а эксперты по недвижимости не застройщики и не риэлторы. Именно это и должно (теоретически) давать им возможность выносить непредвзятое и независимое суждение, необходимое при составлении экспертных рейтингов.

Однако у такого подхода есть недостатки и ограничения. Прежде всего, группа из нескольких экспертов может собрать и обработать конечный объем данных. Например, эксперты по гостиничному бизнесу оценят организацию и сервис во всех крупных отелях мегаполиса, но мини-отели и частные хозяева квартир, сдающие их посуточно, уже не будут охвачены профессиональными рейтингами — их слишком много. Возникают проблемы и с детализацией информации, которую способен дать экспертный рейтинг. Так, международные рейтинги университетов в целом полезны для принятия решения о выборе места учебы, но они едва ли помогут тем, кто стремится овладеть редкой профессией: иногда ей могут хорошо обучить в относительно слабом университете, а в более престижном и высокорейтинговом вузе ­какие-то конкретные кафедры и преподаватели могут оказаться очень слабыми. Точно так же эксперты владеют информацией об оснащенности поликлиник и больниц, но навряд ли — о профессиональных качествах каждого работающего в них врача и его персональной репутации.

На фоне общего недоверия россиян к институтам этот недостаток становится крайне существенным: не полагаясь на рейтинги и оценки экспертов, мы передаем друг другу контакты хороших врачей и репетиторов, проверенных автомастеров и бригад, занимающихся ремонтом квартир. Так работает «сарафанное радио». В качестве экспертов в данном случае выступают те, кого мы знаем лично и кому доверяем: родственники, друзья, знакомые, коллеги. Хорошо это или плохо, но факт остается фактом: во многих областях (кажется, именно в тех, которые мы склонны считать важными для себя) мы больше доверяем не крупным брендам, а репутации конкретных специалистов, информацию о которых получаем из своего ближайшего социального окружения.

Потребительские (пользовательские) рейтинги стали особенно популярны с 2000-х годов, когда массовым стал интернет и их составление технически упростилось. Несомненное преимущество пользовательских рейтингов — относительно большое количество участников, раздающих рейтинговые оценки: это дает возможность оценивать редкие товары и услуги и исключает предвзятость. В то же время явный недостаток пользовательских рейтингов — вероятная некомпетентность оценивающих. Чем сложнее деятельность специалиста, тем труднее ее оценить и тем менее информативен рейтинг, составленный потребителями услуги. Собственно, в тех областях, которые не сводятся к оказанию услуги, потребительские рейтинги начинают давать сбои.

Возьмем для примера ситуацию, когда студенты оценивают университетских преподавателей (проект ratemyprofessors.com и его аналоги в разных странах). Из этих рейтингов можно извлечь информацию о том, насколько преподаватели нравятся студентам и легко ли сдать им экзамен, но совершенно невозможно понять, обладают ли они авторитетом как специалисты в своих областях. Тот же недостаток у рейтингов врачей, составленных пациентами: хотя субъективный опыт других пациентов очень интересен, он все же не дает ответа на вопрос, является ли врач хорошим специалистом и стоит ли обратиться за помощью именно к нему.

В приведенных примерах налицо проблемы как с экспертными, так и с потребительскими рейтингами. Недостающая информация — это то, что думают о специалисте его коллеги по цеху: признают ли его авторитет и компетентность или, наоборот, считают шарлатаном, умело работающим на публику. Иными словами, в некоторых случаях нас может заинтересовать профессиональная репутация специалиста, к которому мы собираемся обратиться, и такая информация тоже может быть получена и представлена в виде рейтинга.

Одна из областей человеческой деятельности, где профессиональная репутация имеет огромное значение, — сфера науки. Очевидно, это связано с огромной автономией данного социального поля: в некоторой предельной ситуации ученого может вовсе не интересовать мнение профанов о его работе, и при этом он чрезвычайно зависим от одобрения коллег (защита диссертаций, публикации в рецензируемых научных журналах и т. д.). Знакомиться с работой коллег и высказывать свое мнение о ней — важнейший элемент научного этоса. Поэтому каждый ученый в той или иной степени владеет знанием (и вносит в него вклад собственными оценками) о неформальных профессиональных репутациях коллег в своей области — кто «настоящий ученый», «знаток» и «большой специалист», — при этом знание это никак не зафиксировано и остается видимым только для игроков соответствующего поля. Собственно овладение этим недоступным для аутсайдеров «тайным знанием» является важной частью социализации молодого ученого в той или иной научной школе.

В отечественной науке профессиональные репутации остаются малоизученными. Интересным исключением стало опубликованное недавно исследование Михаила Соколова «Академические репутации в российской социологии: опыт измерения» [2]. Автор сделал выборку работающих российских социологов на основе базы данных РИНЦ и задал им вопросы, касающиеся персональных репутаций в этой области, а также репутаций вузов, в которых готовят социологов, и научных журналов по социологии.

Хотя Соколов использует достаточно устоявшуюся методику социологического опроса с неслучайной выборкой, полагаю, что для составления рейтингов профессиональных репутаций не менее продуктивным инструментом может стать основанная на смарт-­контрактах технология токенизированных списков (TCR, или token-­curated registry). Ранее мы уже описывали модель ее применения в работе научных журналов [3]. TCR представляет собой реализацию на блокчейне координационной игры, в которой игрок получает выигрыш, если ему удается принять те же решения, что и другим игрокам. Таким образом, создается система поощрения более объективного ответа на вопросы о том, каким образом респондент представляет себе устоявшийся в сообществе консенсус по ­какой-либо проблеме, а не его частное мнение о ней. Именно эта особенность делает TCR подходящим для исследования профессиональных репутаций, ведь предметом исследования является в данном случае не оценка, которую одни представители сообщества дают другим, а их представления о том, какими оценками профессиональное сообщество наделяет тех или иных своих членов. Респондент получает возможность соревноваться с другими участниками в том, кто лучше других понимает, «кто есть кто» в ­какой-либо профессиональной сфере. Угадывая ответы, которые станут наиболее популярными, он получает за это баллы, подтверждающие его «экспертность» в знании о рынке профессиональных репутаций в соответствующей области.

Вероятно, подобные исследования в будущем могли бы качественно дополнить применяемые наукометрические инструменты. Одно из распространенных направлений критики наукометрии заключается в том, что она измеряет вклад ученых в развитие науки исключительно на основе их публикационной активности, в то время как этот вклад может состоять и во множестве других видов деятельности, которые оказываются «невидимы»: ведении семинаров, неформальном обмене идеями, рецензировании статей, организации научных мероприятий и т. п. Все это является важной составляющей науки и не в последнюю очередь формирует академические репутации. Поэтому если их удастся измерить, то полученные сведения о профессиональных репутациях можно будет использовать для создания более прозрачной и более справедливой системы организации научной деятельности.

[1] Статья подготовлена при финансовой поддержке Российского фонда фундаментальных исследований (РФФИ) в рамках научного проекта «Сетевые договоры (смарт-контракты) как способ регулирования и организации научной деятельности» (№ 18-29-16184).

[2] Соколов М. М. Академические репутации в российской социологии: опыт измерения // Социологические исследования. 2021. № 3. С. 44—56.

[3] См. Kosmarski A., Gordiychuk N. (2020) Token-Curated Registry in a Scholarly Journal: Can Blockchain Support Journal Communities? Learned Publishing. Vol. 33. No. 3. P. 333—339; Гордийчук Н. В., Космарский А. А. Саморегулирование и консенсус научного сообщества: блокчейн-­технология TCR в экономике журнала открытого доступа // Искусственные общества. 2019. Т. 14. № 1.