Характеристика автоматизированных систем экспертного оценивания (АСЭО)

К числу первых созданных АСЭО относится система экспертного оценивания крупномасштабных проектов “Выбор проекта” (АСЭО-1). Остановимся подробнее на ее возможностях и особенностях. В процессе экспертизы необходимо достаточно мощное информационное обеспечение экспертов. В АСЭО-1 эта задача решается с помощью базы данных о проектах, в которой содержится информация о назначении, областях применения, сроках начала и окончания, включая сроки изготовления опытных образцов, технической характеристике, значениях экологических и социальных критериев и т. д. Не менее важная проблема – формирование компетентных экспертных комиссий. В АСЭО-1 предусмотрена база данных об экспертах, содержащая информацию о компетентности экспертов в данной области, о проектах, которые эксперт может оценить профессионально, о рейтинге экспертов до и после проведения экспертиз.
Для крупномасштабных проектов (и не только для них) характерно наличие многих критериев, по которым они оцениваются. В АСЭО-1 предусмотрен развитый модуль многокритериального оценивания с возможностью формирования набора критериев своего для каждого эксперта, использования количественных и качественных оценок, специально разработанных шкал для оценки проектов по критериям, включая вербально-числовые шкалы. В системе предусмотрена возможность оценивания проектов по критериям специалистами соответствующего профиля. Так экономические оценки дает экономист, экологические- эколог, социологические – социолог, технические -профессионал в соответствующей области техники.
Дополнительные трудности при проведении экспертиз создает большое число проектов, выносимых на экспертизу, как правило, не подвергшихся предварительному отбору. В АСЭО-1 предусмотрен предварительный анализ проектов с целью исключения заведомо не-конкурентоспособных, менее значимых проектов, исключения в значительной степени дублируемых проектов, поскольку возможности их финансирования, как правило, ограничены. В системе, например, на основании оценок экспертов степени дублирования проектов производится их автоматическая классификация с последующей выработкой рекомендаций о целесообразном агрегировании (укрупнении) проектов.
Следующая проблема – проблема оценки сравнительной предпочтительности проектов и выбора. В АСЭО-1 она решается двумя способами. Первый способ – стратификация проектов каждым экспертом, т.е. отнесение проектов к одному из фиксированного числа уровней предпочтительности на основании всей предоставляемой экспертами информации о проектах, включая многокритериальные оценки. Результаты стратификации обрабатываются системой в автоматическом режиме, и на экран дисплея выдается информация о
В практике проведения экспертиз нередки случаи, когда эксперта разбиваются на коалиции по их оценочным суждениям, что должно учитываться при выработке рекомендаций экспертной комиссии. В АСЭО-1 производится оценка согласованности экспертных суждений с учетом возможной неполноты информации, а выработка результирующих суждений производится как для экспертной комиссии в целом, так и для отдельных групп экспертов, классификация которых по степени согласованности в системе предусмотрена.
Если АСЭО-1 может быть использована при определении сравнительной предпочтительности альтернативных вариантов проектов, то автоматизированная система экспертного оценивания “Приоритетность финансирования” (АСЭО-2) позволяет с учетом сравнительной предпочтительности альтернативных вариантов объектов финансирования и других характеристик, а также с учетом необходимых объемов финансирования для каждого объекта определять наиболее предпочтительные пакеты финансируемых объектов при заданном общем объеме финансирования.
Охарактеризуем основные модули АСЭО “Приоритетность финансирования” .
Модуль информационного обеспечения. В отличие от базы данных о проектах АСЭО-1, структура базы данных об объектах финансирования АСЭО-2 имеет более сложную иерархическую структуру. Она содержит три уровня: уровень направлений (первый уровень), каждое из которых содержит определенное количество изделий (второй уровень), уровень аналогов изделий (третий уровень), по сравнению с которыми определяется их конкурентоспособность.
В базу данных помещаются основные характеристики рассматриваемых направлений, изделий, аналогов. После определения состава показателей, характеризующих объекты финансирования, они заносятся в базу данных. После экспертизы по оцениванию экспертами значений субъективных показателей для объектов финансирования, последние также заносятся в базу данных. Таким образом, в базу данных помещается вся необходимая для процедуры экспертного оценивания информация об объектах финансирования. База данных об экспертах АСЭО-2 практически не отличается от базы данных об экспертах АСЭО-1.
Модуль оценки конкурентоспособности изделий. Для оценки конкурентоспособности необходимо определение критериев и показателей, характеризующих конкурентоспособность изделия, их сравнительной весомости. Показатели, как правило, группируются в блоки. Для оценки конкурентоспособности изделий могут использоваться, например, блоки показателей технической эффективности, экономической эффективности, надежности, эргономичности, экологической безопасности и т.д. В модуле предусмотрен расчет обобщенной оценки изделий и аналогов, в основе которого оценка значений частных показателей по специально разрабатываемым вербально-числовым шкалам с учетом сравнительной весомости частных показателей.
Но, интерес представляют не столько абсолютные значения численных оценок изделия и его аналогов, сколько качественная информация об их сравнительной предпочтительности. Оценки, данные каждым экспертом, позволяют определить общее ранжирование аналогов и изделий. В модуль включено определение результирующего ранжирования аналогов и изделий по методу векторов предпочтений с использованием меры близости на векторах предпочтений и алгоритма решения задачи о назначениях для расчета медианы Кемени.
Результаты расчетов модуля оценки конкурентоспособности представляются в виде ранжированного ряда аналогов и изделий с указанием их цен.
Модуль оценки направлений. Этот модуль предназначен для расчета значений укрупненных критериев, таких как конкурентоспособность, экологическая безопасность, социальная эффективность, ресурсосбережение. Каждый из укрупненных критериев имеет собственную иерархически упорядоченную структуру с более частными критериями-показателями, на основании оценок значений которых, рассчитываются значения укрупненных критериев. Оценка конкурентоспособности направления определяется на основании оценок конкурентоспособности объектов, разработка которых предусмотрена в данном направлении.
Не будем останавливаться на модулях сравнительной предпочтительности альтернативных вариантов, основанных как на оценке в целом, так и на принципах многокритериального выбора, модуле анализа результатов экспертиз. Они аналогичны соответствующим модулям, реализованным в АСЭО-1. Остановимся лишь на модуле оценки приоритетности финансирования.
Приведем примеры еще двух автоматизированных систем анализа и обработки экспертной информации, которые могут быть отнесены к классу АСЭО.
1. АСЭО “ЕХСО” используется для сопровождения работы экспертного совета. При этом обеспечивается технологическая поддержка всего цикла работы экспертного совета, начиная с регистрации поступающих конкурсных проектов и кончая принятием окончательного решения о финансировании работ.
Система “ЕХСО”, как и другие АСЭО, снабжена необходимыми базами данных, содержащими информацию о проектах и их характеристиках с указанием такой информации как организация, представляющая проект, направление деятельности, тип гранта, данные о показателях финансирования и др.
В системе обеспечивается сопровождение процедуры тайного голосования с последующей обработкой информации, позволяющей указать ранжирование проектов по предпочтительности.
Следует отметить присутствующую в системе процедуру определения экспертов, наиболее подготовленных для участия в экспертизе по оценке того или иного проекта, разработанную с использованием аппарата семантических сетей.
Вводя необходимую содержательную информацию о проектах и экспертах, пользователь на выходе может получить наглядно визуализированную на экране дисплея картину взаимного расположения точек, соответствующих проектам, и точек, соответствующих экспертам, на основании которой определятся сравнительная “близость” экспертов и проектов.
В системе также предусмотрена интерактивная процедура подбора рационального варианта финансирования проектов, представленных на конкурс.
На базе АСЭО-1 “Выбор проекта” и “ЕХСО” разработана АСЭО-8, обеспечивающая рациональное распределение ресурсов при формировании пакетов проектов, программ, приоритетных направлений, включенная в Перечень важнейших законченных работ Миннауки РФ.
2. АСЭО “СОМВ1-РС”. Одной из отличительных особенностей системы является предоставляемая пользователю возможность формирования технологии сопровождения работы экспертной комиссии и методов обработки экспертной информации в зависимости от характера и особенностей проводимой экспертизы.
Базы данных системы предусматривают представление информации в табличной форме, каждая из которых может характеризовать до тысячи (точнее, до 1024) объектов экспертизы.
Результатом работы системы является стратификация альтернативных вариантов решений по предпочтительности, т.е. разбиение сравниваемых альтернативных вариантов решений на некоторое число, в данной системе заранее заданное, упорядоченных групп вариантов так, что каждая последующая группа вариантов менее предпочтительна, чем предшествующая.