Так, оценки репутации на основе опросов критикуются за их субъективизм и высокую степень зависимости от ретроспективной эффективности. Показатель, свидетельствующий о высоких баллах при получении итоговой квалификации в результате обучения, может не свидетельствовать об эффективности образовательного процесса, а быть результатом высоких требований к уровню подготовки при поступлении в учебное заведение. Помимо этого, различные присваиваемые квалификации могут предполагать различную сложность выпускных испытаний, что также сказывается на уровне указанного индикатора эффективности.
Также в числе недостатков рейтингов назван, как ни парадоксально, чрезмерный акцент именно на исследовательских показателях. Дело в том, что в интересах развития своей территории, региона и страны качественное обучение новым специальностям и, главное, компетенциям актуализируется само по себе, безотносительно к исследовательским показателям. Так, например, частой критике со стороны специалистов подвергаются так называемые типичные индикаторы эффективности научной деятельности, такие как количество публикаций, цитируемость публикаций, импакт-факторы журналов.
Практические рекомендации по рейтингам и отчетности в высшем образовании разрабатываются соответствующими комиссиями ЮНЕСКО. Так, на глобальном форуме ЮНЕСКО в Париже (май 2011 г.) университетские рейтинги оценивались в контексте инструментов отчетности, которые необходимо активнее использовать для поддержания качества высшего образования и его развития. Изучались те инструменты отчетности, которые акцентируются на разнообразии критериев и экспертных оценок. Речь шла об оценке качества, бенчмаркинге, оценке итогов обучения, аккредитации, лицензировании и иных формах оценки.
Общая тенденция в отношении к рейтингам состоит в стремлении создать новую, многомерную и максимально объективную систему оценки вклада университетов в экономический рост конкретных стран и мира в целом. Успех подобных реформ сделает невозможной ситуацию, когда университеты конкретной страны не входят в список лучших университетов мира, хотя сама страна обгоняет по показателям развития национальной инновационной системы те государства, вузы которых находятся на самой вершине традиционных мировых рейтингов. К примеру, сейчас в список 50 лучших университетов по рейтингам THE и ARWU не входят вузы стран Скандинавии. В обоих рейтингах лидерство принадлежит американским и британским университетам. Однако на данный момент национальные инновационные системы скандинавских стран по большинству качественных показателей фактически опережают и США, и Великобританию.
Все более активно призывают к качественным межуниверситетским сравнениям взамен традиционных рейтингов университеты ведущих стран Азии. По их мнению, критерии мировых университетских рейтингов недостаточно надежны и университеты слишком разнятся между собой, что не позволяет проводить корректные сравнения. Об этом, например, было заявлено на конференции по высшему образованию стран Азиатско-Тихоокеанского региона (ноябрь 2010 г.). Рейтинги должны быть более «чувствительными» к анализу предметных зон, поскольку некоторые университеты сильны по одним дисциплинам и посредственны – по другим.
По мнению Национального агентства научно-технологического развития Таиланда, рейтинги вузов должны стать более похожими на рейтинги кредитных агентств и банков. Последние, как известно, учитывают, прежде всего, качество работы, а не формальное положение в рейтинговой таблице. Агентство предлагает группировать университеты в определенном диапазоне качества обучения и исследований. Таким образом, они будут расположены в рамках единого кластера, что характеризует качественный подход взамен количественного.
В качестве аналога Исследовательский фонд Таиланда (финансирующий высшее образование страны) выбрал действующую в Великобритании с 1986 года систему, в соответствии с которой выделены 5 категорий качества вузов:
1) уровень мирового класса;
2) уровень международного совершенства;
3) уровень международного признания;
4) уровень национального признания;
5) уровень неклассифицированных вузов.
1.3. Зарубежная практика специальной оценки научных организаций и научных исследований
1.3.1. Европейская практика государственной оценки научных организаций
В Европейском союзе действует система государственной оценки научных организаций (euroCRIS). При оценке используются три группы показателей:
1) публикации: статья в журнале, профессиональная книга, раздел в профессиональной книге, доклад в материалах конференции. Учет ведется по базам данных: Scopus, Web of Sciens, Conference Proceedings Citation Index, Science nebo Social Science & Humanities;
2) прикладные результаты: патенты; полезные модели, промышленные конструкции; опытная установка, проверенная технология, сорт, порода; прототип, функциональные образцы; результаты реализации поставщиком; сертифицированные методологии и процедуры, специальные карты; программное обеспечение; отчет о секретных исследованиях;
3) прочие результаты: аудиовизуальная продукция и электронные документы; организация выставки; организация семинара; организация конференции; иные результаты, которые не подпадают под определение типов результатов оценки, например, заявка на патент, небольшая книга и т. д.
За каждый результат начисляются определенные баллы. Затем общее финансирование организации делится на суммарный балл, что дает некоторую оценку эффективности.
Ограниченность количества показателей, конечно, дает весьма приблизительную оценку. Здесь опять-таки нет учета важности научного направления, инновационной эффективности, оценки процессов, оценки социального значения и многих других важных элементов.
Из европейского опыта нам интересен, пожалуй, принцип наказания научной организации за неверные данные, представленные для оценки. За единичное грубое нарушение правил оценки организация полностью лишается базового финансирования на очередной финансовый год. Под грубым нарушением понимается, например, следующее: организация вместо числа полученных патентов указала число поданных заявок на патенты.
1.3.2. Зарубежный опыт оценки эффективности научных исследований
С точки зрения цели настоящего исследования наибольший интерес представляют разработанные и применяемые во многих странах Системы финансирования исследований на основе оценки эффективности – Performance-based research funding systems (PBRFs). Изучению и обобщению информации о Системах финансирования исследований на основе оценки эффективности и об их особенностях посвящена отдельная публикация ОЭСР «Performance-based Funding for Public Research in Tertiary Education Institutions»[14].
Впервые прообраз подобной системы был внедрен в 1986 году в Великобритании и носил название Research Assessment Exercise (RAE). С тех пор система совершенствовалась и распространялась. По данным ОЭСР, в начале 2010 года ее применяли 14 стран (табл. 6). Ряд стран либо пока не внедрил подобные системы, либо использует собственные, которые в настоящий момент перерабатываются с учетом содержания Систем финансирования исследований на основе оценки эффективности – PBRFs. К таким странам относятся Франция, Германия, Япония, Корея, Нидерланды, ЮАР.
Таблица 6
Национальные системы финансирования исследований на основе оценки эффективности для университетов[15]
В системах PBRFs эффективность исследовательской деятельности и ее результатов определяется на основе трех категорий индикаторов:
1) индикаторы первого порядка нацелены непосредственно на определение качественной эффективности исследований и сосредоточены на измерении входа, процессов, структуры и/или результатов;
2) индикаторы второго порядка включают индексы, отражающие простые измерения эффекта (например, импакт-фактор журналов и индекс Хирша);
3) индикаторы третьего порядка нацелены на оценку и представление рейтинга подразделений, например, группами экспертов.
Индикаторы первого порядка в системах финансирования исследований на основе оценки эффективности включают входящие индикаторы, индикаторы процессов, структуры и результатов.
Входящие индикаторы связаны с возможностями университета привлечь внешнее финансирование и характеризуют его конкурентные позиции на рынке финансирования (табл. 7). Эти индикаторы связаны с репутацией организации и качеством и значимостью планируемых исследований.
Таблица 7
Входящие индикаторы Систем финансирования исследований на основе оценки эффективности – PBRFs
Индикаторы процессов сосредоточены на оценке внутренних мероприятий и действий, таких как проведение семинаров и конференций, приглашения международных признанных ученых и академических деятелей, участие в зарубежных конференциях и других (табл. 8).
