Консультация для воспитателей"Организация развивающей предметно-пространственной среды летом" | Татаркина Наталья Викторовна. Работа №239466

21.04.2020 Методы, применяемые на этапе оценки и выбора альтернатив

Вопрос 1. Экспертные методы

Метод экспертного оценивания относится к инструментарию количественной оценки качества альтернатив в условиях слабоформализуемой проблемной ситуации.

Экспертные оценки – это качественные оценки, основанные на информации неколичественного (качественного) характера, которые могут быть получены только с помощью специалистов – экспертов. Эксперт – это высококвалифицированный специалист, полагающийся на свои знания, опыт, интуицию и умение оценивать сложные факторы (явления) и способный создать собственную обоснованную (интуитивную) модель анализируемого явления (проблемы), если он располагает необходимой для этого исходной информацией.

Сущность метода экспертных оценок заключается в логико-интуитивном анализе внутренней и внешней среды организации, разработке альтернатив и количественной оценке их качества. Обобщенное мнение экспертов служит основанием для осуществления выбора. Комплексное использование интуитивного и логического мышления, а также формальной обработки количественно выраженных суждений экспертов позволяет получить показатели качества альтернатив при решении слабоформализуемых задач выбора.

Эксперты при этом выступают в роли «измерительных приборов», позволяющих определить их относительную погрешность (по разбросу суждений) и оценки, интерпретация которых дает требуемый результат.

Методом экспертного оценивания решаются следующие типовые задачи:

– определение состава возможных событий в какой-либо системе в определенном интервале времени;

– определение вероятностей событий и временных интервалов во множестве событий;

– структурирование проблемного поля организации и определение приоритетности решения проблем;

– дифференциация целей управления до задач и определение приоритетности их решения;

– генерирование альтернатив;

– фильтрация множества альтернатив и оценка их предпочтительности.

Главное противоречие оценки альтернатив заключается в том, что фактически описываются не столько сами альтернативы (с помощью их атрибутов), а последствия, связанные с их выбором. Так как оценки каждой альтернативы должны быть получены до ее реализации, то единственным способом устранения данного противоречия является построение модели процесса реализации решения.

Набор критериев для оценки альтернатив должен обладать следующими свойствами:

1) полнота, т. е. критерии должны обеспечивать адекватную оценку альтернативы, выступающей объектом экспертизы;

2) действенность. Критерии должны быть однозначно понимаемы как экспертами, так и ЛПР, и при этом быть доступными;

3) разложимость. При необходимости работы с большим числом критериев должна существовать возможность их деления (разложения) на более мелкие группы. Например, по возрасту – возрастные группы, по стажу работы и т. д.;

4) неизбыточность. Не должно быть лишних, дублирующих критериев. Оптимальным является количество критериев в диапазоне 5-9;

5) минимальная размерность. Необходимо включать только те критерии, без которых оценка невозможна.

Требования являются во многом противоречивыми, поэтому их выбор – трудная задача, справиться с которой под силу только действительно профессионалам. Поэтому к экспертам предъявляются высокие требования и учитываются их:

– профессиональные знания;

– опыт деятельности;

– эффективность работы в составе экспертных комиссий.

Общепринятой методики оценки качеств экспертов нет, поэтому лицо принимающее решение (ЛПР) может:

– сам определить требования к экспертам и определить их состав;

– доверить это тому, кто отвечает за проведение экспертизы (обычно консультантам);

– обратиться к услугам независимых центров экспертизы.

Вся совокупность способов оценки экспертов подразделяется на три основные группы:

1) априорные;

2) апостериорные;

3) тестовые.

Априорными называются методы оценки качеств экспертов, при которых не используется информация о результатах их участия в предыдущих экспертизах. К ним относятся такие методы как:

1) метод самооценивания (по балльной, вербальночисловой или вербальной шкале);

2) методы взаимной оценки, когда эксперты оценивают друг друга (метод списка экспертов);

3) документационный (анкетный) метод, основанный на фактических данных об эксперте, имеющих документационное подтверждение (стаж работы, ученая степень, звание, количество публикаций и т. п.).

Апостериорные методы оценки основываются на информации о результатах участия экспертов в предыдущих экспертизах и направлены на выявление их компетентности.

К ним относятся:

1) метод парных сравнений (направлен на выявление противоречий в суждениях эксперта через попарное сравнение объектов на предмет их предпочтительности);

2. метод, основанный на вычислении коэффициента достоверности – относительная частота случаев, в которых эксперт оказался прав (может быть сопоставим со средним значением коэффициента достоверности экспертной комиссии);

3. метод отклонения от результирующей групповой оценки. Основан на расчете коэффициента отклонения Коi:

Коi = Dоi / Dmax ,

где Коi – коэффициент отклонения суждений i-го эксперта; Dоi – отклонение индивидуальной оценки i-го эксперта от результирующей оценки; Dmax – максимально возможное отклонение эксперта от результирующей оценки.

Тестовые методы оценки экспертов предполагают проведение специального испытания для оценивания эксперта.

Методы получения экспертных оценок, даваемых экспертами, делятся на количественные и качественные.

К методам получения количественных экспертных оценок относят следующие:

1) непосредственная количественная оценка. Эксперт указывает количественное значение показателя оцениваемого объекта (стоимость квартиры, предполагаемая емкость рынка и т. д.). Если конкретное значение показателя определить трудно, эксперт может определить диапазон, в котором находится его значение;

2) метод средней точки. Используется в случаях, когда альтернативных вариантов, требующих оценки, достаточно много. В этом случае сначала эксперт количественно оценивает наилучшую и наихудшую альтернативы, присваивая им значения а1 и а2 (рис. 1), а затем подбирает третью альтернативу а3, оценка которой равна половине отрезка а1а2.

Дальнейшая оценка оставшихся альтернатив осуществляется аналогично.

Рис. 1 Метод средней точки

К методам получения качественных экспертных оценок относят следующие:

1) экспертная классификация. Метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернатив к установленным категориям, классам, уровням, сортам (сорта вин, классы отелей, уровни безопасности и т. д.);

2) если классы не установлены, то эксперты формируют их путем парной сортировки предлагаемых альтернатив, сначала оценивая, можно или нет их отнести к одному классу, а затем их последовательной оценки с позиции возможности отнесения альтернатив к одному классу;

3) ранжирование альтернатив. Сущность метода заключается в упорядочении сравниваемых альтернатив по степени предпочтительности определенного признака.

Если альтернатив не более 20, то эксперту предъявляется весь их набор, где он последовательно определяет наиболее предпочтительный вариант из 20, 19, 18…2.

Если альтернатив больше 20, то сначала их разбивают на упорядоченные по предпочтению группы при помощи метода экспертной классификации, а затем ранжируют внутри каждой группы;

4) метод экспертных кривых. Применяется при необходимости составления прогнозов на основе данных о предшествующих изменениях показателей, характеризующих объект экспертизы (темп роста ВВП, инфляция, уровень безработицы). По имеющимся статистическим данным и их экстраполяции на будущее строится график. На основе обобщенного мнения экспертов на графике, отражающем тенденцию развития анализируемого показателя, определяются точки, в которых следует ожидать смены тенденции. Затем экспертами наглядно представляются возможные сценарии развития ситуации.

Вопрос 2. Метод «Дельфи»

Ядром экспертных методов является метод «Дельфи»

В 1960-х гг. в США методом «Дельфи» назвали экспертную процедуру прогнозирования научно-технического развития. Данный метод был разработан «РЭНД Корпорейшн» (США) для исследования военно-стратегических и военнотехнических проблем в США и впервые опробован в 1964 г. Его авторы – О. Хелмер, Т. Гордон и Н. Долки.

Метод «Дельфи» был предложен как пошаговая процедура, которая должна помочь снизить влияние психологических факторов при проведении повторных заседаний экспертов и повысить объективность их оценок.

Проект «Дельфи» патронировался органами государственной власти и должен был стать основной формой участия экспертов в принятии государственных решений по самому широкому спектру проблем, но в первую очередь по военной проблематике. Основной целью метода «Дельфи» является уменьшение психологического давления, испытываемого некоторыми людьми при личном контакте. Это позволяет исключить влияние на конечный результат людей, обладающих хорошими ораторскими способностями, которые далеко не всегда являются самыми квалифицированными специалистами. К ключевым особенностям данного метода следует отнести:

1) анонимность;

2) регулируемую обратную связь;

3) формирование групповой оценки на основе статистической обработки индивидуальных оценок экспертов;

4) многошаговый характер оценивания.

Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исходя из следующих принципов:

– вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

– опрос экспертов проводится в несколько этапов, на каждом последующем этапе вопросы и ответы все более уточняются;

– после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;

– эксперт обосновывают оценки и мнения, отклоняющиеся от мнения большинства;

– статическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Метод «Дельфи» синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты независимо друг от друга высказывают свое мнение в письменной форме. Важнейшая составляющая метода – тщательно разработанные программы анкетирования, осуществляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы, и сформулированные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каким пунктам имеется единое мнение. Экспертов, высказавших иное мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким образом, область расхождения мнений сужается и вырабатывается общее мнение. Такая технология проведения дельфийского метода позволяет в значительной мере устранить такие психологические факторы, как показная убежденность, нежелание публично изменить первоначально ошибочное мнение или высказываться публично, влияние авторитета и др.

При использовании метода «Дельфи» следует учитывать следующее:

1) группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.

По разным вопросам в качестве экспертов привлекается от 10 до 150 человек;

2) время между турами опросов должно быть не более месяца;

3) вопросы в анкетах должны быть тщательно продуманы и четко сформулированы;

4) число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной той или иной оценки, а также для критики этих причин. На практике оказывается достаточным проведение четырех туров;

5) должен проводиться систематический отбор экспертов;

6) необходимо учитывать самооценку компетенции экспертов по рассматриваемым проблемам до формирования экспертной группы;

7) нужна формула согласованности оценок, основанная на данных самооценок;

8) следует установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок;

9) необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи;

10) критерием окончания процедуры служит «близость» мнений экспертов.

Надежность метода «Дельфи» считается приемлемой при прогнозировании как на период от 1 до 3 лет, так и на более длительный срок.

Область применения метода «Дельфи» сегодня не ограничивается вопросами военного характера. Она очень широка и с успехом применяется для решения вполне «мирных» вопросов: освоения новых рынков сбыта, выпуска новых видов продукции, анализа причин неудач организации и т. д.

Учитывая сложность процедуры применения данного метода, который вместе с обработкой полученных экспертных оценок может занимать несколько месяцев, ее проведение обычно поручается консультантам, основной задачей которых является эффективная организация процесса принятия управленческого решения.

На рис. 2 представлены основные этапы осуществления обратной связи при использовании метода Дельфи.

Рис. 2 Обратная связь  метода «Дельфи»

Недостатки метода Дельфи: значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок; необходимость неоднократного пересмотра экспертом своих ответов вызывает у него отрицательную реакцию, что сказывается на результатах экспертизы.

 Дальнейшим развитием метода Дельфи являются методы QUWST, SEER, PATTERN.

 Внешне метод реализуется как многоуровневая процедура анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим изолированно друг от друга.

Вопрос 3. Методы критериального выбора

Критерий (от греч. criterion – средство для суждения; признак, на основании которого производится оценка; мерило, суждение) – это способ описания альтернативных вариантов решений, способ выражения различий между ними (альтернативами) с точки зрения предпочтений лица, принимающего решения (ЛПР). Количественные критерии, позволяющие оценивать результаты принимаемых решений, принято называть критериями эффективности. Каждое решение приводит к определенному результату (исходу), последствия которого оцениваются по критериям (оценочным критериям). Поэтому критериями называют показатели, характеризующие общую ценность решений таким образом. что у ЛПР имеется стремление получить по ним наиболее предпочтительные (или лучшие) оценки.

Критериальный язык позволяет оценить результат действия каждой альтернативы критерием (конкретным числом), а затем провести сравнение этих критериев, наилучшей альтернативой является та, которая обладает наибольшими (наименьшими) значениями критерия. В зависимости от условий выбора выделяют однокритериальные и многокритериальные альтернативы, и соответственно – однокритериальные и многокритериальные задачи принятия решений.

Наиболее удобный для анализа те альтернативы, в которых мерилом эффективности является единственный количественный критерий (доход, прибыль, издержки и т.д.). Единственный критерий, используемый для оценки альтернатив, называют скалярным, а совокупность критериев, характеризующих альтернативы, называют векторным критерием. Задачи оценки эффективности решений одновременно по нескольким критериям называют многокритериальными.

В многокритериальных задачах появляются вопросы: Как формализовать задачу? Как согласовать противоречивые стремления? Как принять решение?

Основные проблемы методов оценки и сравнения многокритериальных альтернатив состоят в следующем: как получить оценки по отдельным критериям и как агрегировать эти оценки в общую оценку полезности альтернативы. Многочисленные методы принятия решений при многих критериях различаются способом перехода к единой оценке полезности альтернатив.

Среди этих методов можно выделить: прямые методы, методы порогов несравнимости, методы компенсации и др.

Прямые методы. Примерный алгоритм многокритериальной оценки альтернатив следующий:

– определить критерий оценки альтернатив;

– ранжировать критерий по важности;

Методы порогов несравнимости. Данные методы предложены впервые профессором Б. Руа во Франции. Суть методов в следующем: решают оптимизационную задачу с одним первым критерием, считая, что других критериев нет. Затем решают задачу с одним вторым критерием и т.д. После выявления экстремальных уровней, которые достижимы по каждому критерию в отдельности, для каждого критерия, начиная с наиболее важного, задается порог, который не должен нарушаться. Условие нерушимости порога считают ограничением, затем добавляют ограничения по порогу второго критерия и т.д.

Связь между любой парой альтернатив определяется последовательностью бинарных отношений. Сильным бинарным отношением соответствуют большие требования к превосходству одной альтернативы над другой. Более слабые бинарные отношения определяют условия при которых, не смотря на противоречивую оценку, одну альтернативу определяют как лучшую по сравнению с другой. Бинарные отношения превосходства задаются уровнями индексов согласия и несогласия, что позволяет выделить ядро в которое входят доминирующие и несравнимые элементы. После выделения ядра (множество Парето) его элементы являются несравнимыми (временно). Затем задается ряд следующих бинарных отношений (по второму, третьему и т.д. критерию). В качестве решения считаются элементы (альтернативы) последнего ядра.

 Выбор альтернативы по единственному критерию является довольно простым и очевидным. В этом случае выбирается тот вариант решения проблемы, атрибуты которого по критерию выбора являются наилучшими. Для их определения могут использоваться как количественные методы оценивания, так и качественные, получаемые обычно на основе мнений экспертов.

Чаще всего руководителям приходится сталкиваться с такими проблемами, когда имеющиеся альтернативы приходится оценивать по нескольким критериям эффективности или качества. Например, прибыль, риск, издержки. Эти качества, описывающие различные свойства объектов, называют атрибутами альтернатив, а возникающие проблемы – многокритериальными или многоатрибутными задачами принятия решений. Они представляют собой достаточно сложный класс задач для человеческой системы переработки информации. Наличие нескольких критериев выбора приводит к резкому возрастанию количества информации, необходимой для оценки и сравнения альтернатив, и, как следствие, к большой нагрузке на кратковременную память человека, объем которой ограничен. Для обоснованного выбора в такой ситуации ЛПР вынужден прибегать к специальным методам и приемам. В результате экспериментов были сформированы две группы таких приемов и правил, которые получили название стратегии компенсации и стратегии исключения.

Стратегии компенсации применяются, когда ЛПР стремится сопоставить достоинства и недостатки каждой альтернативы, чтобы сравнить их между собой и выбрать наилучшую. К ним относятся:

– аддитивная стратегия;

– стратегия аддитивных разностей;

– стратегия идеальной точки.

Аддитивная стратегия заключается в том, что ЛПР определяет общую полезность каждой альтернативы как сумму оценок по отдельным атрибутам, полученных с учетом относительной важности этих атрибутов. При этом оценки атрибутов выставляются субъективно либо вычисляются как некоторые масштабированные значения, выраженные в единой безразмерной шкале. Так, в примере с покупкой дома можно выделить такие важные атрибуты, как цена, местоположение, время постройки и другие. Затем определить их важность для покупателя и оценить каждый вариант по всем атрибутам, а затем сложить полученные оценки, умножив их на «вес» каждого атрибута. Тогда наилучшим выбором будет вариант с максимальной общей полезностью.

Стратегия аддитивных разностей используется при попарных сравнениях альтернатив и заключается в том, что ЛПР оценивает не общую полезность каждой альтернативы, а только различие между ними. Формально это различие выглядит как сумма «взвешенных» разностей оценок альтернатив по всем атрибутам. Если полученная сумма положительна, то первая из двух альтернатив предпочтительнее, чем вторая. При этом установлено, что люди часто пренебрегают теми атрибутами, по которым различие оценок альтернатив невелико. Продолжая рассматривать пример с покупкой жилья, можно оценить разницу между двумя вариантами только по цене и местоположению, если по остальным атрибутам они примерно одинаковые. Затем формируется мнение об их различии в целом и выносится суждение о предпочтительности того или иного варианта.

Стратегия идеальной точки напоминает правило аддитивных разностей, но отличается от него тем, что все альтернативы сравниваются не между собой, а с неким эталоном, т. е. неким идеальным вариантом, который существует лишь в воображении ЛПР, а на практике недостижим. Тогда наилучшей будет та альтернатива, которая с учетом значений всех атрибутов наиболее близка к идеалу.

Стратегии исключения используются в тех случаях, когда ЛПР отказывается от сравнения достоинств и недостатков всех альтернатив и применяет простые эвристические правила, чтобы исключить из рассмотрения как можно больше не заслуживающих внимания вариантов. К этой группе стратегий выбора относятся:

– стратегия доминирования;

– конъюнктивная стратегия;

– дизъюнктивная стратегия;

– лексикографический анализ;

– стратегия удаления по аспектам.

Стратегия доминирования применяется для поиска такой альтернативы, которая по всем атрибутам не хуже и хотя бы по одному атрибуту лучше, чем все остальные варианты выбора. Например, при выборе места работы из нескольких предложений следует выбрать более престижное при условии, что по другим атрибутам (должность, оплата труда и т. д.) оно не хуже остальных. Эта стратегия позволяет исключить некоторые возможности и сократить множество исходных альтернатив. Обычно данная стратегия не приводит к наилучшей альтернативе, так как она далеко не всегда существует на практике. Вместе с тем доказано, что если такая альтернатива существует, то любая из стратегий компенсации позволяет ее найти. В этом случае преимущество стратегии доминирования заключается в относительной простоте ее использования.

Конъюнктивная стратегия позволяет исключить альтернативы, которые не удовлетворяют минимальным требованиям по всем атрибутам одновременно. Такая стратегия согласуется с концепцией ограниченной рациональности (Г. Саймон) и приводит к выбору первой удовлетворительной альтернативы, если она существует. Например, принимая решение о приобретении автомобиля, в соответствии с конъюнктивной стратегией должна быть выбрана достаточно престижная модель, цена которой не выше допустимой, а надежность и мощность двигателя не ниже требуемых значений. Если удовлетворительное решение не найдено, то необходимо расширить список альтернатив или ослабить требования к имеющимся по отдельным атрибутам.

Дизъюнктивная стратегия состоит в том, что каждая альтернатива оценивается по своим лучшим качествам независимо от того, какие значения имеют остальные атрибуты.

После этого для окончательного выбора оставляются только те альтернативы, которые лучше всех по каждому отдельному атрибуту. Например, ЛПР может остановить свой выбор сначала на самой дешевой модели автомобиля, даже если она явно уступает другим вариантам по другим качествам, затем выбрать самую престижную модель, даже если ее цена слишком велика, и т. д. Остальные варианты исключаются из дальнейшего рассмотрения.

Лексикографическая стратегия похожа на дизъюнктивную за тем исключением, что сначала отбираются лучшие среди всех по самому важному атрибуту альтернативы. Если таких альтернатив несколько, то среди них снова определяется лучшая. Так, сначала могут быть отобраны самые престижные модели автомобилей, затем среди них самые дешевые, и, наконец, в оставшейся группе – самые экономичные по расходу топлива.

Стратегия удаления по аспектам напоминает лексикографическую, но основана на другом принципе. Сначала удаляются альтернативы, не удовлетворяющие заданным требованиям по самому важному атрибуту, затем среди оставшихся удаляются альтернативы, не подходящие по менее важному атрибуту, и так до тех пор, пока не останется единственная альтернатива.

Как показывают исследования, на практике ЛПР не ограничиваются какой-либо одной стратегией, а используют их сочетания. При этом они стараются сократить множество альтернатив до разумных пределов с помощью стратегий исключения. Если после этого остаются несколько вариантов, то наилучший среди них определяется с помощью стратегии компенсации.