Формализация метода «Дельфи» для решения макроэкономических задач на основе групповых экспертных оценок

Оценка - отлично ...

ВВЕДЕНИЕ. 3
1. Краткая информация по созданию расширенного таможенного союза в рамках ЕврАзЭС. 5
2. Метод «Дельфи» 9
3. Математическое обоснование метода. 17
4. Сбор и обработка результатов с помощью GOOGLE DOCS и программы, на писанной на языке СИ++. 19
5. Результаты эксперимента. 22
ЗАКЛЮЧЕНИЕ 27
ЛИТЕРАТУРА 28
Приложение А. 29
Приложение Б. 31
Приложение В. 35
Приложение Г. 38
Приложение Д. 40

Метод Дельфи — это многоэтапный метод, предусматривающий первоначальное вынесение экспертами некоторых суждений и дальнейшую многократную их корректировку на базе ознакомления каждого эксперта с суждениями других экспертов до тех пор, пока величина разброса оценок не будет находиться в рамках заранее устанавливаемого желаемого интервала варьирования оценок.
Целью работы является формализация метода «Дельфи» для решения макроэкономических задач на основе групповых экспертных оценок.

Эксперты ограничены в формулировании оценок их числовым форматом. Это требуется для того, чтобы сделать результаты экспертизы максимально конкретными.[4]Рассмотрим, каким образом названные выше принципы находят свое выражение в процедуре метода Дельфи.На этапе подготовки экспертизы определяется состав ее организаторов, которые на предварительной стадии должны сформулировать изучаемую проблему таким образом, чтобы с ней можно было работать в рамках Дельфи. Другими словами, проблема должна быть представлена в виде набора конкретных вопросов к экспертам, в качестве ответа на каждый из которых можно было бы получить числовую оценку. К примеру, экспертов некорректно спросить: «Как скажется объединение ЕврАзЭС и ЕС?» Правильно сформулированный вопрос звучит так: «Оцените объединение ЕврАзЭС иЕС (0 - объединение скажется отрицательно, 10 – от этого выиграют все страны входящие в ЕврАзЭС и ЕС)»Итак, проблема должна быть сформулирована как перечень вопросов, предполагающих ответ в виде оценки по порядковой или интервальной шкале. Следующая важная задача организаторов экспертизы на подготовительном этапе – сформировать состав экспертной группы, то есть определить ее численность и персональный состав. Специфика метода Дельфи имеет прямое влияние на комплектование экспертной группы с точки зрения ее численности. Прежде всего, количество оценок, а значит, и количество экспертов, должно быть статистически значимым. Мы не можем привлечь к процедуре Дельфи только трех экспертов, так как не сможем обработать их оценки. Соответственно, нижняя граница численности экспертной группы – 7 – 9 человек. В то же время у нас не задана верхняя граница, так как нет необходимости собирать экспертов в одном месте. В реальной практике использования Дельфи есть примеры, когда в экспертизе участвовало несколько сотен специалистов. Конкретное их число будет определяться спецификой рассматриваемой проблемы, общим числом компетентных экспертов, их технической доступностью и согласием на участие в экспертизе.Также на подготовительном этапе определяется технический канал коммуникации с экспертами. На заре развития метода это была обычная почта, в настоящее время – в основном электронная почта.Подготовив анкету и определив состав экспертов, можно приступать к первому туру. Вначале необходимо узнать коэффициент компетентности эксперта. Коэффициент компетентности вычисляется по формуле: Cf= 12 *(Кu+Кa) , где Ku – коэффициент информированности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале, Ka – коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (Табл.1)Табл.1 Эталонная таблица коэффициентов аргументации.Источник аргументацииСтепень влияния источника на мнение экспертаВ (высокая)С (средняя)Н (низкая) Теоретический анализ321Обобщение работ зарубежных авторов0,50,50,5Обобщение работ отечественных авторов0,50,50,5Личное знакомство с состоянием дел за рубежом0,50,50,5Производственный опыт542Интуиция эксперта0,50,50,5Эксперту дается таблица без цифр. Он отмечает, какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. [5]Далее эксперты отвечают на поставленные вопросы, заполняя таблицу ответов (Табл.2). Перед таблицей находится уточняющий текст: «Ответьте на вопросы, используя цифры от 0 до 10, где 0 ставится при ответе ”Категорически не согласен ”, 10 при ответе “Полностью согласен”. Прокомментируйте свой ответ. Ваши комментарии, возможно, будут использоваться другими экспертами, поэтому пишите их подробно».Табл.2 Таблица ответов.ВопросЧисловая оценкаВаш комментарийКак вы отнесетесь к тому, что в состав ЕврАзЭС войдут те же страны которые входили в состав СССР (0 – крайне отрицательно, 10 – полностью положительно)После того как все эксперты заполнят анкету аналитическая группа проводит анализ результатов. Вычисляются:Средний коэффициент компетентности Mcf.Mcf=1ni=1nCfi где Cfi – коэффициент компетентности i – го эксперта, n – количество экспертов.Средняя оценка Mr.Mr=1ni=1nxiГде xi – оценка, поставленная i – ым экспертом, n – количество экспертов.Средневзвешенная оценка Wmr. Wmr= i=1nxi *Cfii=1nCfi Медиана. Для вычисления медианы упорядочиваются все оценки по возрастанию и выбираются две средние по номеру оценки, высчитывается их среднеарифметическое. Доверительный интервал. Для этого считаются квартили – 1/4 от разницы между максимальной оценкой и минимальной. Нижней границей доверительного интервала будет минимум + квартиль, верхней  максимум - квартиль.Интерквартильный размах. Интерквартильный размах – это разность между верхним и нижним квартилем, то есть длина доверительного интервала.Второй тур начинается с того, что эксперты получают отчет по первому туру. В этом отчете находятся: средний коэффициент компетентности, средняя оценка, средневзвешенная оценка, медиана, доверительный интервал и интерквартильный размах, а также комментарии экспертов, чьи оценки вышли за пределы доверительного интервала. Примеры отчетов в Приложении Б, Приложении В и Приложении Г. После того как эксперты ознакомились с результатами первого тура они вновь заполняют анкету и могут как поменять свое мнение после прочтения комментариев и ознакомления с оценками, так и оставить его прежним. А также оставляют свои развернутые комментарии по каждому вопросу.После того как все эксперты заполнили анкеты аналитическая группа проводит анализ результатов. Третий и последующий туры проводятся аналогично. Вопрос считается ращенным, если длина доверительного интервала окажется не больше 2. Оптимальное количество туров 3 – 4. Опытным путем показано, что после 3 – 4 раундов ответы практически не изменяются и проводить туры дальше бессмысленно и затратно. Значение ширины доверительного интервала равное двум указано в книге The Delphi method. Techniques and Applications. «В Дельфи согласованность экспертов предполагает, что определенный процент голосов попадает в пределы заданного диапазона. Например, когда интервартильный размах не больше 2 единиц по десятибалльной шкале»[6] Если после 3 – 4 раундов ширина доверительного интервала остается больше двух, то проблема считается неразрешимой.Математическое обоснование метода.По методу Дельфи вопрос является решенным, если длина доверительного интервала оказалась не больше двух единиц по десятибалльной шкале. Объясним почему этого достаточно, для того чтобы считать вопрос решенным.Оценки, которые эксперты ставят, отвечая на вопрос можно считать случайной величиной принимающей значение от 0 до 10. Распределение этой случайной величины не имеет конкретного вида, а такие распределения принято описывать с помощью медианы и интервартильного размаха.Медиана – это значение признака, которое делит весь ряд значений пополам, то есть половина значений признака меньше медианы, и половина  – больше ее. Интерквартильный размах – это разности между третьим и первым квартилями.Для случайной величины X c функцией распределения F(x) квантилью порядка p, 0<p<1, называется число Kp такое, что F(Kp)≤P, F(Kp+0)≥P.0,25 – квантиль называется первым (или нижним) квартилем (от лат. quarta - четверть);0,5 – квантиль называется медианой (от лат. mediāna - середина);0,75 – квантиль называется третьим (или верхним) квартилем.Получается интервартильный размах равен K0,75 – K0,25, он является характеристикой разброса случайной величины. Вместе, медиана и интерквартильный размах могут быть использованы вместо математического ожидания и дисперсии в случае невозможности вычисления последних.Длину интерквартильного размаха мы назвали доверительным интервалом. Из свойств дисперсии – чем меньше дисперсия, тем более тесно группируются результаты конкретных испытаний относительно математического ожидания, получаем что чем меньше длина доверительного интервала тем более согласовано ответили эксперты. А из свойства – если дисперсия равна нулю, то случайная величина постоянна, получаем, что если длина доверительного интервала равна нулю, то эксперты ответили единогласно.Таким образом получаем, что основанием для того, чтобы считать вопрос решенным можно взять любую длину доверительного интервала от 0 до 5, где 0 – значит все эксперты поставили одинаковую оценку, а 5 – один из экспертов поставил минимальную а другой максимальную оценку. В данном эксперименте было выбрано значение равное двум, в связи с тем, что именно это значение было указано в книге авторов метода Дельфи. Но если требуется большая согласованность, то можно использовать и меньшие значения.Сбор и обработка результатов с помощью GOOGLE DOCS и программы, на писанной на языке СИ++.В ходе эксперимента эксперты отвечали на бумажных анкетах, однако была возможность отвечать в электронной форме.В GOOGLE DOCS была создана форма которая отправлялась на электронный адрес эксперта. Форма представлена на рисунке 1Рисунок 1. Электронная форма.Ответы сохранялись в электронной таблице на GOOGLE DRIVE. Электронная таблица представлена на рисунке 2Рисунок 2. Электронная таблица.После чего электронная таблица могла быть сохранена в одном из следующих форматов: XSLT, PDF, TXT, HTML.Далее эти данные обрабатывались программой, написанной на языке СИ++. Код программы приведен в Приложении А. В качестве входных данных программа принимает текст вопроса, количество экспертов, ширину доверительного интервала, коэффициент компетентности эксперта, оценку и комментарий. Пример результата обработки приведен на рисунке 3Рисунок 3. Результат обработки.Результаты эксперимента.В рамках Уральского Федерального Университета в апреле-мае 2013 года было проведено опытное Форсайт-исследование с помощью метода Дельфи. В качестве экспертов выступали студенты – выпускники курсов бакалавратуры и магистратуры трех институтов УрФУ: института математики и компьютерных наук (бывший математико-механический факультет УрГУ), института гуманитарных наук и искусств (бывший факультет журналистики УрГУ), института естественных наук (бывший физический факультет УрГУ). Цель эксперимента – определить, насколько эффективно в настоящий момент создание Таможенного союза в рамках Евразийского экономического сообщества и как это отразится на экономике России, а также других стран, входящих в ЕврАзЭС.Экспертам было предложено ответить на пять вопросов. Опрос проходил в три раунда. Ниже представлены краткие результаты эксперимента по каждому из вопросов. Подробный отчеты, которые предоставлялись экспертам находятся в приложениях.1 Вопрос:Оцените необходимость для России нахождения в ЕврАзЭС (0 – Россия должна выйти из состава ЕврАзЭС, 10 Россия ни в коем случае не должна выходить из ЕврАзЭС).В таблице 3 приведены оценки каждого эксперта в каждом из трех раундов.№Раунда\№Эксперта12345678910111213141 Раунд77674985991087102 Раунд6865655799104893 Раунд77787875899489Таблица 3.На рисунке 4 это представлено графически. Рисунок 4.2 Вопрос:Оцените возможность создания расширенного таможенного союза в рамках ЕврАзЭС (0 – невозможно, 10 – возможно).В таблице 4 приведены оценки каждого эксперта в каждом из трех раундов.№Раунда\№Эксперта12345678910111213141 Раунд259682429554572 Раунд555787568579773 Раунд67785668759887Таблица 4На рисунке 5 это представлено графически. Рисунок 5.3 Вопрос:Оцените преимущества вступления новых членов в ЕврАзЭС (0 – преимуществ не будет вообще, 10 – вступления скажутся положительно).В таблице 5 приведены оценки каждого эксперта в каждом из трех раундов.№Раунда\№Эксперта12345678910111213141 Раунд8664555678741072 Раунд7568557847881073 Раунд487565685788107Таблица 5На рисунке 6 это представлено графически. Рисунок 6.4 Вопрос:Как вы отнесетесь к тому, что в состав ЕврАзЭС войдут те же страны которые входили в состав СССР (0 – крайне отрицательно, 10 – полностью положительно)В таблице 6 приведены оценки каждого эксперта в каждом из трех раундов.№Раунда\№Эксперта12345678910111213141 Раунд444566996683952 Раунд548352558672753 Раунд56637355466575Таблица 6.На рисунке 7 это представлено графически. Рисунок 7.5 Вопрос:Оцените объединение ЕврАзЭС и ЕС (0 - объединение скажется отрицательно, 10 – от этого выиграют все страны входящие в ЕврАзЭС и ЕС)В таблице 7 приведены оценки каждого эксперта в каждом из трех раундов.№Раунда\№Эксперта12345678910111213141 Раунд486887555409062 Раунд257675586404063 Раунд38365654543406Таблица 7На рисунке 8 это представлено графически. Рисунок 8После завершения обработки всех результатов можно заявлять, что проблемы, оглашенные в вопросах 1,3 и 5 остались не разрешимы, а те которые были оглашены в вопросах 2 и 4 имеют решения. В вопросе 2 эксперты оценили возможность создания расширенного Таможенного союза в рамках ЕврАзЭС значением 6,91 по десяти бальной шкале. В вопросе 4 эксперты оценивали выгоду от вступления в состав ЕврАзЭС стран бывшего СССР, и сошлись на значении 5,17 по десяти бальной шкале.ЗАКЛЮЧЕНИЕНесмотря на трудоемкость метода Дельфи, он позволяет получить убедительные экспертные оценки при разработке проектов, выходящих за горизонт прогнозирования.В ходе работы был составлен и отработан алгоритм работы по методу Дельфи и представлено математическое обоснование. В качестве экспертов были приглашены выпускники старших курсов балавратуры и магистратуры трех институтов УрФУ. Результаты экспертного опроса показали, что выпускники УрФУ в достаточной мере владеют сложной социально-экономической проблематикой и готовы к решению масштабных практически ориентированных задач. Квалификация организационной группы опытного форсайт-проекта (группа состояла из двух выпускников Института естественных наук и Института математики и компьютерных наук) достаточна для организации и моделирования практически ориентированного форсайт-проекта. Общее время, затраченное на три раунда опроса экспертов, составило 3 недели. Время постобработки результатов 1 неделя.Было решено две из пяти задач, что является неплохим результатом, учитывая то, что эксперимент проводился впервые. На основе технологии разработанной при проведении исследования, и на основании составленного бизнес - плана возможно создание инновационного форсайт-центра на базе УрФУ.ЛИТЕРАТУРА1) www.annews.ru/news/detail.php?ID=265136‎ от февраля 2013 года. 2) www.expert.ru/dossier/story/tamozhennyij-soyuz/‎ от феврвля 2013 года.3) An experimental application of the Delphi method to the use experts. Norman Dalkey and Olaf Helmer. July 1962.4) Политический анализ и прогнозирование : учеб. Пособие / А.С. Ахременко. – М.: Гардарики, 2006. – 333 с. 5) www.bugabooks.com/book/64-issledovanie-sistem-upravleniya/47-73-metod-delfi.html от апреля 2013 года.6) The Delphi Method Techniques and Applications. Harold A. Linstone,Murray Turoff, Olaf Helmer, 2002. – 618 c.Приложение А. Эксперт № ____Уважаемый эксперт! Заполните, пожалуйста, таблицу коэффициентов аргументации возможности создания расширенного Таможенного союза в рамках Евразийского экономического сообщества  (ЕврАзЭС). Поставьте крестик в подходящей, по вашему мнению, ячейке для каждого источника аргументации. Для одного источника нужно поставить один крестик. Источник аргументацииСтепень влияния источника на мнение экспертаВ (высокая)С (средняя)Н (низкая) Теоретический анализОбобщение работ зарубежных авторовОбобщение работ отечественных авторовЛичное знакомство с состоянием дел за рубежомПроизводственный опытИнтуиция экспертаОтветьте на вопросы, используя цифры от 0 до 10, где 0 ставится при ответе ”Категорически не согласен ”, 10 при ответе “Полностью согласен”. Прокомментируйте свой ответ. Ваши комментарии, возможно, будут использоваться другими экспертами, поэтому пишите их подробно.Числовая оценка Ваш комментарийОцените необходимость для России нахождения в ЕврАзЭС (0 – Россия должна выйти из состава ЕврАзЭС, 10 Россия ни в коем случае не должна выходить из ЕврАзЭС)Оцените возможность создания расширенного таможенного союза в рамках ЕврАзЭС (0 – невозможно, 10 – возможно)Оцените преимущества вступления новых членов в ЕврАзЭС. (0 – преимуществ не будет вообще, 10 – вступления скажутся положительно) Как вы отнесетесь к тому, что в состав ЕврАзЭС войдут те же страны которые входили в состав СССР (0 – крайне отрицательно, 10 – полностью положительно)Оцените объединение ЕврАзЭС и ЕС (0 - объединение скажется отрицательно, 10 – от этого выиграют все страны входящие в ЕврАзЭС и ЕС) Уважаемый эксперт, оцените, пожалуйста , уровень своей аргументации по обсуждаемой проблеме, используя цифры от 0 до 10, где 0 ставится при ответе «Вообще не информирован», 10 при ответе «Отлично знаком с обсуждаемой проблемой».Приложение Б.Отчет по первой итерацииУважаемые эксперты! Благодарим Вас за высказанные мнения по столь серьезной проблеме. В настоящем отчете предоставлены следующие данные по первичному опросу: средняя оценка, средневзвешенная оценка, медиана, доверительный интервал, оценки, которые не вошли в доверительный интервал, комментарии экспертов, а также усредненный коэффициент их компетентности. Средневзвешенная оценка – это оценка с учетом коэффициента компетентности. Коэффициент компетентности состоит из коэффициента, получаемого из эталонной таблицы источников аргументации и коэффициента информированности по обсуждаемой проблеме. В первичном опросе коэффициент информированности считался равным для всех экспертов, в последующих опросах он будет запрашиваться дополнительно.К сожалению, в первичном опросе не все эксперты прокомментировали свою оценку, хотя комментарий является обязательной частью опроса. В отчете предоставлены все имеющиеся комментарии. Часть комментариев для повышения результативности исследования подвергнута лингвистической правке. В дальнейшем будут оглашены комментарии экспертов, оценка которых не вошла в доверительный интервал. Справочно: средний коэффициент компетентности экспертов по результатам первичного опроса: 6,6 из 10. Рассматривая проблема будет считаться решенной, когда ширина доверительного интервала будет не больше 2.1 Вопрос. Оцените необходимость для России нахождения в ЕврАзЭССредняя оценка: 7,73Средневзвешенная оценка: 7,66Медиана: 8Доверительный интервал [5.5:8.