Применение метода экспертных оценок Дельфи в практике разработки инновационных мультипроектов

Оценка - отлично ...

СОДЕРЖАНИЕ
ВВЕДЕНИЕ……………………………………………………………………………………….5
ОСНОВНАЯ ЧАСТЬ…………………………………………………………………………..…7
Глава 1 Литературный обзор……………………………………………………………………..7
1.1 Что такое инновация…………………………………………………………………………7
1.2 Проект, виды проектов………………………………………………………………………7
1.3 Форсайт……………………………………………………………………………………..…9
1.3.1 История Форсайта………………………………………………………………………..…9
1.3.2 Особенности Форсайта в разных странах… ……………………………………………11
1.3.2 Методы, используемые в Форсайте. …………………………………………………...…17
1.4 Метод Дельфи…………………………………………………………………………………22
1.4.1 История метода Дельфи……………………………………………………………………22
1.4.2 Суть метода. …………………………………………………………………………..….…23
1.4.3.Этапы метода. …………………………………………………………………………....…26
1.4.5 Недостатки метода. …………………………………………………………………………32
1.4.6 Применение метода. ……………………………………………………………………..…33
Выводы по главе 1. ………………………………………………………………………………35
Глава 2. Пример форсайт-исследования………………………………………………….……36
Выводы по 2 главе………………………………………………………………………….……38
Глава 3. Бизнес-план на тему «Создание форсайт-центра при УрФУ» …………………… .39
3.1 Введение………………………………………………………………………………………39
3.2 Описание форсайт-центра……………………………………………………………..……39
3.3 Оценка экономической эффективности создания форсайт-центра…………………..…48
Выводы по главе 3……………………………………………………………………………….57
ЗАКЛЮЧЕНИЕ……………………………………………………………………………...…58
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ………………….....60
ПРИЛОЖЕНИЯ………………………………………………………………………………...61

Цель работы: Показать возможность использования метода Дельфи при разработке ин-новационных мультипроектов.
Для достижения поставленной цели необходимо выполнить следующие задачи:
• Изучить историю Форсайта, его особенности применения в разных странах;
• Изучить метод Дельфи, его структуру, этапы, применение;
• Изучить особенности мультипроектов;
• Разработать бизнес-план по применению метода Дельфи при разработке инно-вационных мультипроектов;
• Произвести экономические расчеты;
• Сделать выводы об эффективности использования метода Дельфи.
Объект исследования - экспертные оценки в процессе разработки инновационных муль-типроектов.

1.4.3. Этапы методаБлок-схема этапов проведения метода показана на Рисунке 1.1.529590-148590Формулировка темы00Формулировка темы1062990-381000548640211455Формирование экспертной группы00Формирование экспертной группы106299034353500415290168910Установка типа коммуникаций с экспертами00Установка типа коммуникаций с экспертами11487152628900048196588265Составление анкет00Составление анкет28536901403350012153902228850018440401403350069151548260Опрос00Опрос191071529845Решение не принято00Решение не принято415290245110Анализ результатов00Анализ результатов1215390298450020440653143250043434086995Решение принято00Решение принято1216025889000624840257175Оглашение результатов00Оглашение результатовРис.1.1 Блок-схема метода ДельфиЭтап №1. ПредварительныйНа этом этапе формулируется изучаемая проблема,обговариваются условия проведения опроса, формируется организационная команда, определяется состав и численность группа экспертов. Количество экспертов должно быть не менее 7-9 человек, иначе нет смысла обрабатывать данные от небольшого количества экспертов. Верхнего предела нет, количество экспертов может быть любым. Например, в Японии и в Германии привлекалось до 3000 респондентов, в Великобритании – 3388 экспертов, в Южной Корее – до 25000. [15]Такие мероприятия проводились для оценки глобальных проблем, для проведения традиционного Дельфи подойдет группа из 30-100 человек. Эксперты должны быть компетентны в области поставленной проблемы или в части ее, для достижения наилучшего результата проекта они должны быть заинтересованы в решении проблемы. Для формирования большой группы эксперты могут рекомендовать других специалистов в данной области. Также на этом этапе устанавливаются каналы связи с экспертами. Это может быть почта, факс, телефон, электронная почта, переговоры в режиме онлайн. Дополнительно устанавливаются сроки проведения эксперимента, необходимые ресурсы.Этап №2. Составление анкетОсновная проблема разбивается на вопросы. Вопросы в анкете должны быть сформулированы таким образом, чтобы с ними можно было работать в рамках метода Дельфи. Это должны быть конкретные вопросы, ответ на которые представляет собой количественную оценку, например по шкале от 1 до 10. Первоначально вопросы могут быть составлены по результатам опроса экспертов. Респонденты могут перечислить все необходимые аспекты проблемы, которые необходимо проанализировать. Когда организаторы обработают предложения и составят список вопросов, анкету можно рассылать экспертам. Например, при технологическом прогнозировании, чтобы начать исследовать будущие технологии, нужно определиться со списком тем. Германский проект «Дельфи II» охватывал 12 технологических областей, а общее количество тем составило 1070, восьмой японский форсайт-прогноз, соответственно 13 областей и 858 тем, в корейском методе Дельфи исследовались 1174 темы.[15]Помимо самих вопросов в анкете указывается необходимая информация в кратком виде по данной проблеме, цели проводимого опроса и как будут использоваться его результаты. К каждому вопросу должна быть указано шкала и критерии оценки. [16] Например, в анкете могут использоваться следующие критерии (см. таблицу 1.4):Таблица 1.4 Критерии оценки вопросовКритерийоценка(примерный) комментарий эксперта, его аргументыОсуществимость1. Определенно возможно2. Вероятно возможно3. Может или не может быть осуществимо4. Скорее всего, невозможно5. Определенно невозможноСтепень необходимости1. Весьма желательно2. желательно3. желательно или нежелательно4. нежелательно5. крайне нежелательноВажность 1. Очень важно2. важно3. Умеренно Важно4. неважно5. крайне неважноКритерии могут быть самыми разнообразными в зависимости от обсуждаемой проблемы. Шкалы тоже могут быть любыми: от 1 до 10, от 1 до 5, или просто «да» - «нет». В анкету может быть включена самооценка профессиональных знаний по каждой из тем, чтобы придать разный вес каждому мнению. Эксперт указывает степень осведомленности о проблеме и указывает источники своих знаний из предложенных вариантов.Этап №3. Опрос экспертовРазработанные анкеты раздаются экспертам посредством имеющихся каналов связи. Эксперты знакомятся с полученной информацией, отвечают на вопросы и обосновывают свои ответы аргументами. При возникновении трудностей эксперты обращаются к организаторам. Затем они возвращают анкеты обратно, и организаторская группа приступает к анализу анкет.Этап №4. Анализ полученных результатовЧтобы провести анализ, организаторы высчитывают показатели отдельно по каждому вопросу: средняя оценка, свердневзвешанная оценка, медиана, квартили, доверительный интервал коэффициенты компетентности экспертов. Обобщаются и систематизируются аргументы экспертов.Компетентность – это качество человека, который обладает знаниями и опытом в какой-либо области знаний. Коэффициент компетентности вычисляется по формуле (1) [17]:k=12ku+ka, (1)где ku - коэффициент информированности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1;ka— коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице.Коэффициент аргументации вычисляется по следующей таблице (см. таблицу 1.5):Таблица 1.5 Таблица коэффициентов аргументацииИсточники аргументацииСтепень влияния источника на мнение экспертаВ (высокая)С (средняя)Н (низкая)Проведенный теоретический анализ0,30,20,1Производственный опыт0,50,40,2Обобщение работ отечественных авторов0,050,050,05Обобщение работ зарубежных авторов0,050,050,05Личное знакомство с состоянием дел за рубежом0,050,050,05Интуиция эксперта0,050,050,05Эксперт указывает в таблице, как повлияли на его ответ те или иные источники информации. После этого баллы по всем строчкам суммируются. Коэффициент аргументации находиться в диапазоне от 0 до 1. Если ka=1, то степень влияния всех источников сильная, если 0,8 – средняя, 0,5 – слабая.Также необходимо посчитать средний коэффициент компетентности экспертов. Для этого считается среднее арифметическое значений k для всех экспертов. Чем выше коэффициент компетентности, тем выше достоверность проведения процедуры.Существуют другие подходы к оценке компетентности экспертов, они используют другую систему оценивания.Все полученные оценки по каждому вопросу ранжируются по возрастанию, и высчитывается медиана и квартили. Медиана – центральный член ряда. Нижний квартиль составляет ¼ ряда, а верхний квартиль – ¾ ряда.Рис.1.2 Медиана и квартилиСредняя оценка - это среднее арифметическое всех оценок. Свердневзвешанная оценка высчитывается с учетом компетентности экспертов по формуле (2): [18]xj=j=1mxij*kii=1mki, где (2)xij— оценка относительной важности (в баллах), выставленная i -м экспертом j-му элементу;ki — коэффициент компетентности i-го экспертаI=1…m — номера экспертов; m— число экспертов;j=1…n — номера изучаемых элементов;n — число элементов.Доверительный интервал метода Дельфи – отрезок, нижняя граница которого нижний квартиль, верхняя – верхний квартиль. Если доверительный интервал широкий и медиана составляет 0,5 (в случае, когда оценка ведется по шкале от 0 до 1), то степень неопределенности максимально высока. Это говорит о том, что мнения экспертов различны и имеются почти все варианты оценок. До тех пор, пока доверительный интервал не сузится, мнения экспертов нельзя будет свести к единому мнению, и, соответственно, решить поставленную проблему.График на Рисунке 2.3 наглядно демонстрирует, когда эксперты могут прийти к единому мнению.90106569850Рис.1.3 Соотношение вероятности и неопределенностиЭтап № 5. Корректировка анкеты, повторный опрос и повторная обработкаПосле того, как все коэффициенты посчитаны, составляется новая анкета, в которой представляется отчет по каждому вопросу и повторно отсылается экспертам. Отчет должен быть представлен в удобной для восприятия форме: в виде графиков, таблиц, диаграмм и должен акцентировать внимание на ответы экспертов, которые не вошли в доверительный интервал. По мере необходимости может поменяться перечень вопросов или критерии оценки. В отчет также входят предыдущие ответы экспертов.Эксперты, изучив предоставленную информацию, могут изменить свою точку зрения или оставить прежнюю, но дополнить свой ответ весомыми аргументами.После этого ответы снова обрабатываются и вновь отсылаются экспертам. Так повторяется до тех пор, пока все ответчики не придут к единому мнению. Оптимальное количество туров 2-4. Когда решение проблемы найдено, составляется окончательный отчет – максимально точная групповая оценка, в котором должны быть указаны точки зрения экспертов, оценки которых не вошли в доверительный интервал, но они привели убедительные аргументы.1.4.5. Недостатки метода1. При заочной форме могут возникнуть потери ответов экспертов из-за нехватки времени, неполадок с каналами связи с экспертами или из-за непонимания вопросов, например, из-за различий в культурном или логическом плане. Начиная со второго раунда возникает эффект психологической усталости. Например, в одном из форсайт-проектов в Германии для участия в опросе пригласили 7000 человек, 2453 эксперта в первом туре и 1865 экспертов во втором ответили на предложенные вопросники. Во французском проекте к технологическим исследованиям привлекли 3388 экспертов, в первом туре было получено 1273 ответа (38%), во втором – 1122.[15] Также сюда можно отнести такие проблемы, как стремлению к «групповому» мнению, то есть создание видимости группового мнения, а на самом деле эксперты хотят побыстрее разделаться с вопросами, и трудности с подбором экспертов. Поэтому при проведении данного метода следует разработать систему стимулирования для экспертов и как можно доступнее формулировать вопросы. 2. Во время проведения эксперимента существует опасность, что мнения экспертов могут не сойтись.3. Некоторые ученые, проводя исследования, сравнивали очные и заочные групповые методы и пришли к выводу, что очные методы намного эффективны, например, Дж. Фаркухар. В то время как другие ученые, такие как Н. Долки и Р. Кембелл выступали за заочные методы.[19]4. Конформизм. Начиная со второго тура, группа экспертов получает результаты прошлого анкетирования и может поддаться влиянию большинства и согласиться с чужим мнением, тогда как при проведении процедуры требуется прийти к консенсусу между участниками. Но если эксперты действительно специалисты в области решаемой проблемы и заинтересованы в результате, они будут отстаивать свою точку зрения, несмотря на общее мнение группы. И если сравнивать с очными методами, где авторитетные личности могут прямо воздействовать на других, в методе Дельфи конформизм проявляется в гораздо меньшей степени. Эту и не только эту проблему можно решить, прогнав эту же процедуру с этой же проблемой через другую группу.5. Роль организационной группы велика, она обрабатывает материал и представляет окончательное решение, она может проинтерпретировать результаты в любом ключе на любой стадии. Такую проблему можно решить тщательным подбором организационной группы, где участники будут контролировать друг друга. Чтобы избежать фальсификации данных, следует использовать программное обеспечение для обработки информации.6. Высокая стоимость и большая длительность реализации метода.1.4.6. Применение методаКак уже говорилось ранее, США стал первым экспериментатором метода Дельфи. Начинаясь в некоммерческой организации RAND, метод Дельфи нашел свой путь в правительство и промышленность. С военного применения исследования на основе метода Дельфи перешли в другие области, в которых и по сей день проводятся опросы с помощью этого метода. С 1990-х годов метод Дельфи применялся в качестве основного метода прогнозирования в форсайт-проектах в десятках стран. Метод все чаще используется в Южной Европе и Южной Америке, Восточной Европе и Азии. В Северо-Западной Европе он не входит в первую десятку. Рассмотрим несколько стран, в которых применяют этот метод.Метод Дельфи в ЯпонииМетод Дельфи в Японии является основным методом Форсайта.Этапы Японского Форсайта: 1. Анализ тенденций в мировой науке и технике.2. Составление списка перспективных «тем» экономического, научно-технического и социального развития (всего – более 1000 конкретных тем).3. Двухраундовый опрос широкого круга экспертов по методу Дельфи, ранжирование выбранных тем по степени их инновационной значимости. Эксперты указывают важность технологий, их влияние, сроки осуществления. К работе привлекаются 2-3 тыс. экспертов4. Составление перечня национальных научно-технических приоритетов и критических технологий. [20]Метод Дельфи в ГерманииВ 1970-х гг. Германия пыталась организовать Форсайт своими силами, но потом решила перенять опыт Японии и в 1993 году организовала первое исследование с помощью метода Дельфи, в результате которого были выявлены 5 приоритетных направлений. В опросе участвовало более 3000 экспертов. В первом раунде на вопросы анкеты ответили не более 30% участников, во втором 81%. [21]В 1995 году прошел «Мини-Дельфи», в 1998 году «Дельфи-98». В опросе участвовало более 7000 экспертов. В первом раунде ответил 35% экспертов, во втором – более 75%.На основе своего опыта Германия пришла к выводу, что прогнозировать будущее, используя только метод Дельфи, не эффективно, следует применять комбинацию из разных методов. Данный принцип стал основой для последующего проекта Германии - проекта «Futur», который длится по сей день.Метод Дельфи в РоссииВ России метод Дельфи применяется мало. Первым опытом применения данного метода было исследование, проведенное в 1998 году по заказу Министерства науки. [22] Затем его использовали в первом цикле долгосрочный прогноза развития науки и технологий РФ в 2007 году.Второй и третий цикл опираются на целый комплекс методов, включая метод прогнозных сценариев, количественные подходы, дорожные карты, интервью, фокус-группы, семинары, конференции и др.Метод Дельфи использовался в масштабном проекте по заказу государственной корпорации «Роснанотех» в 2009-2011 гг., в рамках которого были выявлены перспективы использования нанотехнологий в различных секторах, и разработаны детальные дорожные карты. [22]Сейчас небольшие разработки по поводу метода Дельфи ведутся в инновационном центре «Сколково», в форсайт-центре НИУ ВШЭ, Центре стратегических разработок «Северо-Запад», в национально-исследовательском центре «Курчатовский институт», в АСИ (агентство стратегических инициатив). Выводы по главе 1:В первой главе были рассмотрены особенности инновационных мультипроектов, особенности форсайт-проектов, международный опыт форсайт-исследований, описан метод Дельфи, его структура и этапы. Причины, по которым метод Дельфи не нашел массного распространения в России, заключаются в следующем:отсутствие развитых аналитических структур;отсутствие компетентного экспертного общества;небольшой опыт проведения исследований.Однако перспективы использования метода Дельфи в России щироки не только для глобального прогнозирования будущего страны, но и на региональном, отраслевом уровне, а также в крупном и среднем бизнесе. Сейчас у России есть все шансы создать инфраструктуру для применения метода Дельфи, в частности, при разработке инновационных мультипроектов.Глава 2. Пример форсайт-исследованияВ рамках Уральского Федерального Университета в апреле-мае 2013 года было проведено опытное форсайт-исследование с помощью метода Дельфи. Его цель – определить, насколько эффективно в настоящий момент создание Таможенного союза в рамках Евразийского экономического сообщества и как это отразится на экономике России, а также других стран, входящих в ЕврАзЭС.В качестве экспертов выступали студенты – выпускники курсов бакалавратуры и магистратуры трех институтов УрФУ: института математики и компьютерных наук (бывший математико-механический факультет УрГУ), института гуманитарных наук и искусств (бывший факультет журналистики УрГУ), института естественных наук (бывший физический факультет УрГУ).Опрос проходил в три раунда.Первый раундУчастникам исследования раздали подготовленные анкеты, в которых сообщалась необходимая информация по рассматриваемой теме, и предлагалось ответить на ряд принципиальных вопросов касательно перспектив создания Таможенного союза с обязательным развернутым экспертным комментарием. Анкеты включали в себя «закрытые» ответы (ответы, требующие точной числовой оценки) и «открытые» ответы, требующие развернутого комментария. (см. Приложение 1). Собранные анкеты были обработаны с помощью специально написанной программы на языке С++, которую подготовил выпускник кафедры «Математический экономики» бакалавратуры Института математики и компьютерных наук М.Глушков. Анализ показал, что в ответах экспертов наблюдалась недостаточная согласованность позиций. (см. Приложение 2). На основании методов статистического анализа был определен доверительный интервал метода. Потребовалась еще два дополнительных раунда, чтобы ответы экспертов уложились в доверительный интервал метода Дельфи. Второй раундЧерез неделю экспертам были розданы модернизированные анкеты, в которых дополнительно указывались усредненные ответы экспертов и максимально различающиеся комментарии. Обработка анкет второго раунда показала, что сходимость ответов недостаточна. (см. Приложение 3)Третий раундТретий раунд проходил аналогично второму раунду. Эксперты также знакомились с усредненными оценками и комментариями, существенно отличающихся от комментариев других участников опроса. По результатам обработки третьего раунда был сделан вывод, что сходимость ответов достаточна, а комментарии экспертов в значительной мере повторяются. Мнения экспертов сошлись только в двух вопросах анкеты из пяти: во второй и в четвертом. По остальным вопросам проблема остается не решенной. (Приложение 4).Данные трех раундов были обработаны, а именно, подчитаны коэффициенты компетентности для каждого эксперта и средний коэффициент компетентности, средние оценки, средневзвешанные оценки, медианы и доверительные интервалы по каждому заданному вопросу.Выводы по главе 2: Несмотря на трудоемкость метода Дельфи, он позволяет получить убедительные экспертные оценки при разработке масштабных инновационных мультипроектов, выходящих за горизонт прогнозирования.Результаты экспертного опроса показали, что выпускники старших курсов бакалавратуры и студенты магистратуры трех институтов УрФУ в достаточной мере владеют сложной социально-экономической проблематикой и готовы к решению масштабных практически ориентированных задач. Квалификация организационной группы опытного форсайт-проекта (она состояла из выпускников Института естественных наук и Института математики и компьютерных наук в количестве двух человек) достаточна для организации и моделирования практически ориентированного форсайт-проекта. Общее время, затраченное на три раунда опроса экспертов, составило три недели. Время постобработки результатов - одна неделя.Структура опытного форсайт-проекта была упрощена, так как использовались возможности студентов УрФУ в качестве добровольных экспертов и инициатива организаторской группы. На основе технологии форсайт-проекта при проведении заказных исследований разработан бизнес-план по созданию инновационного форсайт-центра при УрФУ. Глава 3. Бизнес-план на тему «Создание форсайт-центра при УрФУ»3.1. ВедениеПри разработке инновационных проектов мы часто сталкивается с трудностями. Масштабные мультипроекты могут привести к серьезным последствиям. Предусмотреть все их аспекты небольшой группе людей сложно. Для этого стоит обратиться за помощью к квалифицированным экспертам. Одним из наиболее эффективных методов экспертных оценок является метод Дельфи. Чтобы доказать эффективность использования метода, рассмотрим создание форсайт-центра на базе УрФУ, состоящего из специалистов, которые будут разрабатывать форсайт-проекты с использованием метода Дельфи.Цель бизнес-плана: доказать эффективность метода Дельфи при разработке инновационных мультпроектов на примере создания специализированного форсайт-центра при УрФУ.