Основным недостатком метода является то, что он не позволяет корректно сопоставить два и более альтернативных варианта.
Метод сравнения положений "до" и "после" позволяет принимать во внимание не только количественные, но и качественные показатели различных проектов. Однако этому методу присуща высокая вероятность субъективной интерпретации информации и прогнозов.
Сопоставительная экспертиза состоит в сравнении положения предприятий и организаций, получающих государственное финансирование с теми, кто его не получает. В этом методе обращается внимание на сравнимость потенциальных результатов осуществляемого проекта, что удовлетворяет требованиям проверки экономической обоснованности конкретных решений по финансированию краткосрочных и быстроокупаемых проектов.
Метод сопоставительной экспертизы применяется в США и других странах с развитой рыночной экономикой.
Вместе с тем, этот метод также имеет недостатки, в частности, он не применим при выработке долгосрочных приоритетов государственной политики.
Плюсы и минусы различных методов экспертизы инновационных проектов обусловливают их комбинированное применение.
Специальной комиссией ОЭСР рекомендовано руководствоваться следующими принципами проведения экспертиз:
1. Наличие независимой группы исследователей, выступающих арбитрами в спорных ситуациях по результатам экспертизы, по подбору специалистов ее проводящих и методам контроля.
2. При расчете добавленной стоимости деятельность в области исследований и нововведений рассматривается как производственная.
3. Осуществлять предварительное прогнозирование и планирование расходов на среднесрочную перспективу, чтобы иметь возможность определить предполагаемую эффективность и время для контроля.
4. Увязывать методы контроля с перспективами развития системы руководства научно-технической политикой на государственном уровне.
В ряде стран, например, во Франции, экспертная оценка проектов и контроль за их исполнением проводятся теми организациями, которые осуществляют их финансирование. Обязательными параметрами являются: сроки завершения отдельных этапов работ и всего проекта и степень риска, связанного с осуществлением проекта. В связи с этим во Франции сроки проведения крупномасштабных прикладных исследований колеблются от 8 до 15 лет.
При экспертизе проектов должно быть учтено потенциальное воздействие результатов исследований или разработок на социальную, экономическую и экологическую среду.
К каждой экспертной группе может быть подключен высококвалифицированный представитель заказчика экспертизы.
Эксперты имеют право требовать любую информацию, касающуюся разрабатываемого проекта.
В странах с развитой рыночной экономикой работа экспертов не ограничивается только оценкой проект, но может предусматривать и контроль за ходом работ. При этом методы контроля должны соответствовать уровню проводимых экспертиз.
Экспертиза содержит не только количественную, но и качественную оценку проектов. При принятии решений учитываются оценки, высказанные каждым членом экспертной группы.
В России выделение ассигнований для финансирования капитальных вложений, затрат на научные исследования и разработки и прочих текущих затрат по федеральным научно-техническим программам, утвержденным Правительством Российской Федерации осуществляется целевым назначением государственному заказчику через Федеральный бюджет на очередной финансовый год.
Реализация федеральных научно-технических программ осуществляется на основе Государственных контрактов, которые заключаются государственными заказчиками с исполнителями программ, отбираемых на конкурсной основе.
Экспертизу проектов в области гуманитарных и общественных наук проводят Российский гуманитарный научный фонд (РГНФ) и Российский фонд фундаментальных исследований (РФФИ).
В РГНФ экспертная оценка формализуется в виде ответов на вопросы экспертной анкеты и предусматривает следующие варианты итогового заключения эксперта:
5 — проект заслуживает безусловной поддержки;
4 — проект заслуживает поддержки;
3 — проект может быть поддержан;
2 — проект не заслуживает поддержки;
1 — проект не заслуживает рассмотрения экспертным советом.
В экспертной анкете учитывается наличие или отсутствие обстоятельств, затрудняющих объективную экспертизу. Это может быть связано с "конфликтом интересов".
Ситуация "конфликта интересов" может быть связана с тем, что: не совпадают научные интересы эксперта и содержания проекта; эксперт состоял или состоит в партнерских, финансовых, родственных отношениях с руководителем или исполнителями проекта; в отношениях научного руководства с руководителем (или с одним из основных исполнителей проекта).
Экспертная оценка дается на основе анализа научного содержания проекта и научного потенциала автора (или авторского коллектива).
При анализе изложения замысла проекта учитывается:
1. Четкость изложения замысла проекта (четкая, нечеткая);
2. Четкость определения цели и методов исследования (четко, нечетко);
3. Качественные характеристики проекта (проект имеет: фундаментальный характер; междисциплинарный или системный характер; прикладной характер);
4. Научный задел (имеются: существенный научный и методологический задел в решении сформулированной в проекте проблемы; публикации по заданной теме; научно-методическая проработка решения проблемы отсутствует).
5. Новизна постановки проблемы (автором впервые сформулирована и научно обоснована проблема исследования; автором предложены оригинальные подходы к решению проблемы; сформулированная в проекте проблема исследования известна науке и автором не предложены оригинальные подходы к решению проблемы).
Научный потенциал авторского коллектива оценивается с учетом анализа научного содержания проекта (автор (участники) в состоянии выполнить заявленную работу); эксперт сомневается в возможности выполнить заявленную работу.
Таким образом, эксперт должен дать не только описание проекта, но и оценить его актуальность для данной отрасли знаний; относится ли проект к приоритетным направлениям исследований; новизну поставленной проблемы; перспективы развития проекта; качественный состав участников и обосновать по вышеприведенной системе оценку проекта.
Для экспериментально-лабораторных исследований предусматриваются ответы на следующие вопросы:
