ЭКСПЕРТНЫЕ ОЦЕНКИ

Найдено 1 определение
ЭКСПЕРТНЫЕ ОЦЕНКИ
В управлении и принятии решений в течение многих столетий, если не тысячелетий важную роль играют процедуры экспертизы, основывающиеся на получении и обработке мнений экспертов – квалифицированных специалистов в соответствующей предметной области.
Экспертные оценки – это суждения высококвалифицированных специалистов-профессионалов, высказанные в виде содержательной, качественной или количественной оценки объекта, предназначенные для использования при принятии решений.
Основные цели любой экспертизы (в том числе и сетевой):
– повышение степени обоснованности принимаемых решений на основе заключений экспертов;
– контроль за соблюдением соответствия и/или установление соответствия между характеристиками объекта экспертизы и требованиями (условиями, ограничениями), предусмотренными нормативно-правовыми документами различных уровней.
Соответственно двум основным перечисленным целям экспертизы выделяют экспертизу для принятия решений и нормативную экспертизу. По областям конкретной профессиональной деятельности выделяют, в частности, следующие виды нормативных экспертиз: строительную; медицинскую; судебную; экологическую, в том числе объектов недропользования; товароведческую; качества товаров; патентную; страховую; аудит; при оценке имущества, бизнеса, интеллектуальной собственности, нематериальных активов и т.д.
Предметом экспертизы могут выступать различные свойства материальных и нематериальных объектов, явлений и процессов в прошлом (ретроспективный анализ), настоящем или будущем (экспертное прогнозирование, стратегическое планирование). Примерами, иллюстрирующими разнообразие возможных объектов экспертизы, являются: состояние зданий и сооружений, потребительские свойства товара, проект законодательного акта, стратегия развития региона, перспективы развития отрасли, мнение социальной группы, прогноз результатов выборной компании и т.д.
Модели, методы и технологии организации и проведения экспертиз, обработки экспертной информации и ее использования при принятии управленческих решений подробно рассмотрены в [22, 44, 45, 85, 110, 111].
Выделяют следующие стадии экспертизы (экспертного опроса):
1) Принятие решения о необходимости проведения экспертного опроса и формулировка Руководителем его цели;
2) Подбор и назначение Руководителем основного состава Рабочей группы (РГ, обычно – научного руководителя и секретаря, в случае сетевой экспертизы (дополнительно) – куратора, модераторов и ответственных за технологическое обеспечение);
3) Разработка рабочей группой и утверждение у Руководителя технического задания на проведение экспертного опроса;
4) Разработка подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок), в том числе с применением моделирования;
5) Подбор экспертов;
6) Формирование экспертной комиссии;
7) Проведение сбора экспертной информации;
8) Компьютерный анализ экспертной информации (при применении согласно сценарию экспертной процедуры нескольких туров – повторение этого и предыдущего этапа);
9) Итоговый анализ экспертных мнений, интерпретация полученных результатов и подготовка заключительного документа для Руководителя;
10) Официальное окончание деятельности РГ, в том числе утверждение Руководителем заключительного документа.
Выделяют следующие особенности коллективной экспертизы:
– более полное представление о ситуации;
– выявление заведомо неконкурентоспособных вариантов;
– выявление верных «еретических» суждений;
– получение объективизированных оценок;
получение экспертных оценок повышенной надежности. Известны следующие условия обеспечения качества экспертной информации:
1) наличие экспертной комиссии, состоящей из специалистов, профессионально знакомых с объектом экспертизы и имеющих опыт работы экспертом;
2) наличие аналитической группы, профессионально владеющей технологией организации и проведения экспертиз, методами получения и анализа экспертной информации;
3) получение достоверной экспертной информации;
4) корректная обработка и анализ экспертной информации. Наверное, имеет смысл добавить еще одно условие:
5) полнота охвата свойств объекта экспертизы профессиональными компетенциями экспертов (с учетом возможности привлечения экспертов из смежных областей).
Методы отбора экспертов и формирования экспертных групп:
– назначения;
– взаимных рекомендаций («снежного кома»);
– последовательных рекомендаций;
– выдвижения коллективами профессиональных подразделений и организаций;
– документационный;
– тестирования.
Для сетевой экспертизы часто применяется метод «самовыдвижения» (участвуют все желающие или заинтересованные лица, особенно при общественной экспертизе).
Используемые методы отбора экспертов определяются целями экспертизы, ее предметом с учетом планируемых к дальнейшему использованию методов обработки экспертной информации и т.д. Кроме того, необходимо учитывать уже сложившуюся структуру профессиональных коммуникаций экспертов (сети доверия и сети компетенций [24]).
Существует широкий спектр хорошо апробированных методов организации и проведения экспертиз: метод Делфи (и его модификации), суда, мозговой атаки и штурма, сценарных технологий, ситуационного анализа, Глушкова, ПАТТЕРН, Поспелова, деревьев целей и критериев, решающих матриц, прогнозного графа и др. [45, 85, 86, 110].
Методы получения и обработки экспертной информации: экспертные ранжировки, классификации, парные и множественные сравнения, снижение размерности, Терстоуна, ЧерчменаАкофа, построение векторов предпочтений. Методы определения результата экспертизы (естественно, выбор метода ограничен используемыми методами получения и обработки экспертной информации): усреднения, строчных сумм, медианы Кемени и др. подробно описаны в работах [44, 86].
Выделяют следующие четыре основных типа процедур,
предназначенных для получения экспертной информации:
1) одноразовые (однотуровые) процедуры с непосредственным взаимодействием экспертов (например, «мозговая атака»);
2) одноразовые процедуры без взаимодействия экспертов
(например, массовые опросы);
3) итеративные процедуры с непосредственным взаимодействием (например, «дискуссии за круглым столом» в случае
«обычной» экспертизы или дискуссии на форумах, в блогах и т.д. в случае сетевой экспертизы) экспертов;
4) итеративные процедуры без непосредственного взаимодействия экспертов (процедуры типа «Делфи»).
Как отмечается в [111], типичными в экспертной деятельности являются следующие ошибки:
– преувеличение возможностей экспертных методов, в том числе потенциала сетевых технологий;
– излишнее увлечение «здравым смыслом»;
– использование некомпетентных экспертов;
– нечеткая постановка задачи перед экспертами;
– отказ от многовариантности экспертизы;
– излишнее увлечение количественными оценками и формальными моделями;
– нарушение принципов теории измерений (некорректные действия с экспертными оценками), неправильная обработка результатов экспертизы;
– недостаточное или излишнее информационное взаимодействие между экспертами;
– неучет активности (в том числе – конформизма, конъюнктурности экспертов);
– некорректная интерпретация результатов экспертизы, иногда вплоть до подмены экспертизой процесса принятия решений.
Трудности, заблуждения (экспертов, организаторов экспертизы и Руководителей) и мифы экспертных оценок систематизированы в [111].
С точки зрения задачи организации экспертизы особенно важен случай, когда не все участники экспертизы являются «независимыми экспертами» – один, несколько или все из них могут быть так или иначе заинтересованы в определенных результатах экспертизы, которые могут не совпадать с интересами заказчика, организатора или иных участников экспертизы. Подобные субъекты могут вести себя активно – манипулировать – воздействовать на процесс формирования результата экспертизы с целью его искажения (приближения к желательному для них результату). В этом контексте активной называется экспертиза, в которой существенны активность (то есть, целенаправленность (не всегда
«объективная») поведения) ее участников и их возможности манипулирования результатами экспертизы [14, 22, 54]. Процедуры (организационные механизмы) экспертизы, в которых нейтрализованы возможности манипулирования их результатами (точнее – в которых всем участникам выгодно вести себя честно и добросовестно), называются неманипулируемыми экспертизами (в западной литературе используется термин устойчивые к стратегическому поведению – strategy-proof) [22, 57, 135].
Литература: [14, 22, 44, 45, 85, 110, 111].

Источник: Методология: словарь системы основных понятий. 2013

Найдено научных статей по теме — 15

Читать PDF

Экспертные системы оценки персонала

Шевчук Л. Ю.
Читать PDF

УКРАИНСКИЙ КРИЗИС: ЭКСПЕРТНАЯ ОЦЕНКА

Щербак И.Н., Шишелина Л.Н., Циренщиков В.С., Фёдоров С.М., Синдеев А.А., Максимычев И.Ф., Красиков А.А., Каргалова М.В, Кавешников Н.Ю., Данилов Д.А., Бажан А.И., Ананьева Е.В., Мироненко В.И., Носов М.Г., Фёдоров В.П.
Читать PDF

Русский мир (экспертные суждения и оценки)

Иванов Вилен Николаевич
Понятие «русский мир», ставшее в последнее время одним из самых популярных в общественно-политической литературе, становится в данной статье объектом научного анализа.
Читать PDF

Тесты интеллекта, креативности и экспертные оценки

Ушаков Дмитрий Викторович
The author considers and criticises M. Kholodnaya's arguments against intelligence tests. He argues that the results obtained with the tests can, to a large extent, account for the variations in real life success.
Читать PDF

«Доброжелательность» городской среды к детям: экспертные оценки

Ракитина Н.Э.
В современных городах вопросы благоустройства среды и ориентации на нужды семей с детьми выходят на первый план. Примером является инициатива ЮНИСЕФ по созданию городов, доброжелательных к детям.
Читать PDF

Эффективность политической оппозиции в России: экспертные оценки

Воробьев Александр Анатольевич
Статья посвящена исследованию проблемы эффективности политической оппозиции в современной России. Автор проводит сравнительный анализ докладов ряда крупнейших экспертных центров России, посвященных массовым протестным настроениям.
Читать PDF

ИМПЕРАТИВЫ ФОРМИРОВАНИЯ ГРАЖДАНСКОГО ЕДИНСТВА: ЭКСПЕРТНЫЕ ОЦЕНКИ

Аствацатурова Майя Арташесовна, Понеделков Александр Васильевич, Воронцов Сергей Алексеевич, Игнатова Татьяна Владимировна
В статье представлены результаты экспертного обсуждения проблем формирования гражданского единства, этнокультурного и конфессионального многообразия как целостных оснований и факторов консолидации российского общества.
Читать PDF

Сша и «Арабская весна»: оценки российского экспертного сообщества

Косов Александр Петрович
Начавшаяся в 2011 г. «арабская весна» привлекла внимание политико-академического сообщества и общественности всего мира, в том числе и России.
Читать PDF

Формирование экспертной оценки и концепция осмысленности измерений

Пахомов Алексей Петрович
Данная публикация имеет целью привлечь внимание к проблеме корректного использования информация, содержащейся в экспертных оценках.
Читать PDF

К вопросу о реформе Русской православной церкви: экспертная оценка

Мещерякова Наталия Николаевна, Морозов Евгений Михайлович
Статья написана по результатам экспертного опроса на тему «Роль Русской православной церкви в современном обществе».
Читать PDF

Сценичность/несценичность пушкинской драматургии: экспертные оценки

Луков Валерий Андреевич
В статье анализируются данные экспертного опроса, проведенного в рамках реализации научного проекта «Драматургия А. С. Пушкина: проблема сценичности» в 2014-2015 гг.
Читать PDF

Состояние российской культуры: экспертные оценки и мнение населения

Карпухин Олег Иванович, Комиссаров Сергей Николаевич
В статье дано обобщение данных социологических исследований, в ходе которых были выявлены экспертные оценки и мнение населения о состоянии и перспективах российской культуры.
Читать PDF

Украинский кризис в оценках экспертно-аналитических центров США и ЕС

Пуртова Анастасия Вячеславовна
В статье рассматриваются выводы и рекомендации аналитиков «мозговых центров» США и ЕС по вопросам урегулирования украинского кризиса и определения места Украины в международных отношениях, а также в каком формате следует выстраива
Читать PDF

К ВОПРОСУ ДИФФЕРЕНЦИАЦИИ И ЭКСПЕРТНОЙ ОЦЕНКИ ЭМОЦИОНАЛЬНЫХ СОСТОЯНИЙ

Морозова Марина Валентиновна, Савина Ольга Феликсовна, Сафуанов Фарит Суфиянович, Ткаченко Андрей Анатольевич
Обсуждается проблема дифференцированной комплексной судебной психолого-психиатрической оценки психогенных эмоциональных реакций и состояний.
Читать PDF

Экспертная оценка управленческой компетентности: проблемы ассессмента

Кудрявцева Елена Игоревна
Статья посвящена результатам исследования экспертной оценки управленческой компетентности государственных служащих, раскрывающего связи особенностей личностной структуры руководителей высшего звена управления и управленческих комп