«Черные ящики» и «сжатые» данные: почему рейтинги теряют значимость для бизнеса (на примере рейтинга системы здравоохранения)

Как видно из приведенной иллюстрации, фактически исследование PwC работает с тремя рейтингами: организации медицинской помощи, немедицинских факторов общественного здоровья и индекса здоровья граждан. Итоговый результирующий рейтинг существует в ограниченной порядковой шкале из трех делений — «здоровый город», «развивающийся город», «нездоровый город».

На основании сформированного рейтинга городов аналитики PwC находят факторы, которые влияют на то, является ли система здравоохранения «эффективной или нет». Интерпретация данных — дело качественное (используя принятую в отечественной социологии дихотомию «количественное» VS «качественное»). Здесь интерпретация рейтинга служит скорее вспомогательным инструментом для описания другого, построенного на экспертных методах исследования — «Ключевые тренды» в здравоохранении [5].

6. Объемы «сжатия» данных (насколько часто одни количественные данные заменяются другими, как используется математическая обработка экспертных методов, применяются ли веса или другие коэффициенты при обработке количественных данных).

В рассматриваемом нами исследовании наиболее интересны с этой точки зрения переходы от и без того сжатых данных официальной статистики к ранжированным рядам объектов, то есть к шкале, которая выглядит как числовая и порядковая, но игнорирующая существенные различия между объектами, заменяя их рангами. То есть если в исходных данных аналитики PwC имеют дело с интервальными шкалами, которые позволяют понять не только как объекты анализа расположены по размеру исследуемого признака, но и насколько они различаются, то для расчета каждого субрейтинга (критерия) рассматривается их ранжированный ряд — по определению по шкале более «низкого типа», которая позволяет понять только взаимное расположение объектов. Также следует помнить, что значение каждого критерия оценивается как среднее рангов, то есть авторы еще раз сжимают данные, сокращая количество значений, которыми оперируют.

Но и на этом «сжатие» не заканчивается, ведь итоговый рейтинг сводится к еще одному упрощению шкалы — делению всего списка на три типа городов: «здоровый город», «развивающийся город», «нездоровый город».

Исследование PwC — масштабный проект, методология которого значительно раскрыта, показанные выше проблемные моменты его формирования и интерпретации отлично иллюстрируют «родовые пятна» большей части рейтингов в целом. В сущности, ключевых проблем две:

1. Использование экспертных оценок.

Нередко рейтинги оперируют числовыми значениями, но они получаются благодаря использованию экспертных оценок. Использование чисел при обобщении экспертных мнений является частой практикой при обработке результатов экспертных опросов, но именно оно формирует иллюзию «объективности» полученных рейтингов. Это позволяет искусственно снимать вопросы о формировании пула экспертов исследования. Именно на таких непрозрачных методах получения значений строятся многие политические и околополитические рейтинги (например, индекс восприятия коррупции от Transparency International или индекс демократии от Economist Intelligence Unit). Экспертные оценки в рейтингах — это «черный ящик», генерирующий ответы по методологии, которая заявляется как понятная, но таковой не является.

В анализируемом исследовании PwC непосредственно для расчета значений экспертные оценки не использовались — по крайней мере, об этом не заявлено. Но они активно применялись при формировании критериев и их параметров, отборе городов для исследования и, самое главное, при интерпретации данных исследования, когда становится очевидно, что проведенные процедуры по получению количественных значений показателей несущественны. Все проведенные расчеты должны быть только иллюстрацией экспертизы PwC в области здравоохранения. Здесь надо принять во внимание, что это исследование действительно имело PR-характер. Один из участников «большой четверки» получает доходы от других исследований, а открытые рейтинги служат привлечению внимания потенциальных клиентов.

2. Чрезмерность сжатия данных.

Всякий анализ данных, как и всякая процедура измерения, является процессом «сжатия данных», при которой для интерпретации информации мы сознательно убираем из рассмотрения отдельные стороны изучаемого явления. В отдельных случаях потеря информации для исследования может показаться приемлемой — как, к примеру, игнорирование в социально-­демографических блоках таких характеристик, как рост респондента или его вес. В другом случае потеря информации может быть критической.

Ранжирование, основа любого рейтинга — это сжатие данных. Очевидно, что в основе всякого ранжирования и, следовательно, рейтингования стоит некая количественная шкала, которая позволяет выстроить объекты в определенном порядке, как правило, по убыванию изучаемого свой­ства. При этом в итоговом рейтинге само значение исследуемого признака не является ­чем-то важным, а становится факультативным. Результат рейтинга — новая порядковая шкала, на которой выстроены объекты наблюдения. Упрощая: неважно, какое значение индекса у Москвы, важно, какое место она занимает в общем ряду — кто выше нее, а кто ниже.

Потому всякий рейтинг — это попытка оценить сложное явление одной цифрой. Соблазн максимально упростить ситуацию, чтобы получить простые ответы на простые вопросы: «так всё плохо или хорошо?» и «а как у соседа?». В рассматриваемом нами рейтинге процедура сжатия данных проходила несколько раз. Сжатые статистические данные (в том числе результаты опроса) были сжаты в ранжированный ряд для расчета критерия, который после прошел сжатие с помощью расчета среднего значения, чтобы затем быть помещенным на трехмерную «матрицу», которая все равно потом оказалась отраженной на простой трехчленной порядковой шкале (плохо — нейтрально — хорошо, а в нашем случае — «нездоровый город», «развивающийся город», «здоровый город»).

Рейтинги в системе здравоохранения, как и многие прочие рейтинги, не могут быть основанием для сложных KPI крупных бизнес-­организаций (сетевых клиник, фармацевтических производителей и дистрибьюторов, производителей медицинского оборудования и т. д.), то есть служить ориентиром в практической деятельности, так как:

1. Процедуры получения рейтингов слишком привязаны к «черному ящику» экспертных методов, то есть проверить валидность этих методик и тем более самостоятельно провести ­какое-то исследование по аналогии с ними практически невозможно.
2. Сжатие данных в рейтинге чрезмерно — один параметр (собственно значение рейтинга) невозможно использовать для постановки задач всем подразделениям корпорации. Напротив, в бизнесе востребованы более сложные модели, например регрессионные, в которых конечный результат (итоговый KPI-прибыль) непосредственно математически связан с другими результатами деятельности (узнаваемостью продукта, медиаактивностью, эффективностью R&D, производительностью труда и т. д.).

Рейтинги — попытка слишком просто ответить на вопрос о динамике сложного явления. Именно эта чрезмерная простота ответа и оставляет им только развлекательные функции в сфере бизнес-­исследований.