Оценивание в политике

ВВЕДЕНИЕ 2
ГЛАВА 1. ПОЛЕ ПОНЯТИЙ И КЛАСТЕРЫ ПРОБЛЕМ 5
1.1 Социокультурный контекст парадигмы program / policy evaluation 5
1.2 Политический анализ, оценивание, экспертиза 10
1.3 Место оценивания в стадиально-циклической концепции 14
ГЛАВА 2. ОСНОВНЫЕ МЕТОДЫ ОЦЕНИВАНИЯ 19
2.1 Объект и предмет оценивания в политике 19
2.2 Сбор информации 22
2.3 Основные теоретические подходы и модели оценивания 26
ГЛАВА 3. ПРОВЕДЕНИЕ ОЦЕНИВАНИЯ 30
3.1 Виды оценки 30
3.2 Этапы проведения оценивания 33
3.3 Этика взаимодействия участников оценки 37
ЗАКЛЮЧЕНИЕ 40
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 44

3.3 Этика взаимодействия участников оценкиЗаключительным этапом достижения целей проведения оценивания в политике является презентация результатов проведенной оценки. Презентация в данном случае это не однонаправленный процесс. Наоборот, она предполагает активноевзаимодействие участников оценки: ее субъектов, объектов, заказчиков, представителей общественности и иных заинтересованных сил (в том числе представителей международного сообщества). Как и в любых формальных взаимоотношениях основой и гарантией успеха является соблюдение принятых норм и личных договоренностей — всего того, что одним словом модно назвать этика . Здесь существует несколько базовых правил, которые были определены за годы практики проведения оценивания в политике. Во-первых, необходимо начать выстраивать взаимоотношения между участниками процесса оценки уже на этапе постановки задачи. Во-вторых, большая часть ответственности и проявления инициативы во всем круге вопросов лежит на консультанте-оценщика, посколько именно он начинает процесс после получения заказа и проводит его до конца. В-третьих, должна быть с точностью выверена структура технического задания на проведение оценки, согласованы все детали, касающиеся технической стороны оценки, количественных показателей и отчетных данных. В-четвертых, отдельно необходимо согласовать между всеми непосредственными участниками проведения оценивания методы и инструментарий оценки: от этого зависит как предмет и объект оценки, так и полученные результаты. В-пятых, детальному согласованию подлежит определение объема работ и формирование плана-графика проведения оценки .Отдельной этической стороной является написание отчета, ориентированного на пользователя. То есть это такая форма отчета, которая будет учитывать специфику основной целевой аудитории для оценщика. К целевой аудитории, как правило, относятся специалисты того отдела (отрасли), которая разрабатывает и внедряет государственные программы. Необходимо личное знакомство оценщика с руководителем и основным костяком коллектива. Возможно, выяснение деталей посредством электронной почты и рассылки бюллетеней о ходе ведения оценивания. Общая структура отчета должна включать титульный лист, содержание, аннотацию, результаты оценки, выводы и рекомендации, заканчиваться отчет должен заключением и приложениями, в которых в наглядной форме представлены результаты оценки и фактические данные, на которых она построена. Язык отчета должен быть простым, ясным, четким и однозначным в каждой формулировке. Четко должна прослеживаться логика изложения; лучше всего, если она будет прописана во введении. Текст должен обязательно дробиться на тематические блоки, выстроенные в соответствии с логикой изложения. Определенное время и усилия следует потратить на дизайн и графическое оформление отчета: чем яснее будет изложена мысль, тем ярче сложится картина оценки у целевой аудитории. Однако даже самый хороший отчет, написанный по всем правилам истилистически выверенный в каждом предложении, не является гарантией адекватности восприятия результатов оценки. Любое изложение, и письменное, и устное, несет в себе угрозу аберраций и искажения смысла. Именно поэтому таким важным является выстраивание многокомпонентной обратной связи. Под многокомпонентностью здесь понимается сочетание всех видов вербальной коммуникации — письменной, устной, с применением новейших средств связи и технологий общения, включая интерактивные видео-сервисы. Принципы построения и осуществления обратной связи должны основываться на гармоничном взаимопонимании всех сторон коммуникации. Деятельность оценщика при презентации результатов своего исследования и экспертного заключения должны быть ориентированы на поддержку и развитие целевой аудитории, исходить из ее потребностей и ее уровня подготовки . ЗАКЛЮЧЕНИЕВ результате проведенного исследования нам удалось всестороннее рассмотреть оценивание как одно из важных приложений политической деятельности и как категории в современной теории политического анализа. Во-первых, опираясь на ключевые разработки научной школы политического анализа под руководством Д. Б. Цыганкова, современные исследования, посвященные теме program / policy evaluation, мы представили категорию оценивания в политике в контексте поля проблем политического анализа и стадиально-циклической концепции. Было показано, что принятие решений и политическое управление является сферой деятельности, которая зарождается вместе с появлением в обществе сначала потестарных структур, а затем и государства.Философско-политологическая рефлексия по поводу принятия политических решений, связанной с ним оценкой и ответственностью за них относится ко временам классической европейской античности. Как ни странно, но ни Новое время с расцветом практик абсолютизма в государственном управлении, ни индустриальная эпоха с почти повсеместным переходом на республиканскую форму правления не породили мысли об оценке действий по управлению обществом. Лишь с началом постиндустриального этапа в истории развития человечества поменялись некоторые ориентиры в восприятии основных проблем политического управления. К середине XX в. появляется идея оценивать деятельность государственных органов. Ряд объективных социально-экономических факторов привел к укреплению и распространению идей оценивания в политике. Это связано с расширением сферы влияния послевоенных государств в жизни общества, переходом к модели социального государства, распространению идея планирования и научной организации общества на заре постиндрустриальной эпохи. В ходе исследования основных понятий и поля проблем политического анализа нами было зафиксировано, что оценивание в политике находится в одном ряду понятий с политическим анализом и экспертизой. Ключевым связующим звеном здесь является экспертное знание (expert knowledge). Под ним подразумевается набор навыков, умений и представлений о предмете исследования. В ходе исследования было также обосновано, что оценивание в политике не находится в вакууме. Оно встроено в сложную многокомпонентную систему политического управления и принятию политических и государственных решений (policy cycle). Оценивание в идеальном варианте политического управления должно быть одной из его заключительных стадий; оно выступает содержанием обратной связи на этапе управленческого решения. Во-вторых, в результате ряда исследовательских процедур в работе были выявлены основные методы оценивания в политике с выходом на проблему выстраивания моделей политического оценивания, в том числе модели оценки регулирующего воздействия. В частности, к объекту оценивания в политике была отнесена государственная власть и представляющие ее институты, органы и отдельные индивиды, а к предмету — всесторонний анализ ее деятельности. Исходя из объекта и предмета, цели и задач оценивания, было показано, что основными методами сбора информации является выборка, изучение документации, анкетирование, интервью и наблюдение. Развернутую характеристику получили основные теоретические подходы и модели оценивания. Было доказано, что главным методом оценочного исследования остается принцип обратной связи. К другому важному методу оценочного исследования относится совещания. Как частный случай совещания используется мозговой штурм. К одному из самых распространенных методов как в России, так и за рубежом стоит отнести очные и заочные методики экспертных решений. Оригинальным и весьма эффективным, особенно для малых коллективов, является метод паттерна. К современным методам, распространенным не только в политологической, но и в других отраслях гуманитарных наук, можно отнести метод Дельфи. Также основным и обязательным для применения для оценки государственных органовиз любой сферы деятельности является метод отбора экспертов. Также был сделан вывод, что проведение экспертизы является одним из первых методов, оформившихся в ходе первоначального становления политической оценки как особого рода деятельности. На основе методов были разработаны методики исслдеования в рамках оценивания в политике: экспериментальная, квази-экспериментальная, количественная, методика случаев (case study) и смешанный вид методик. Кроме того, было определено, что весь комплекс методов и основанных на них методик позволяет сформировать рабочие модели оценивания: это модели прогнозирующие и оценивающие (еx-post), модель, основанная на «свободном» от цели (goal-free evaluation) оценивании, суммирующие модели, планирующие (ex-ante) модели, модели с оцениванием, ориентированным на практическое использование (utilize-focused evaluation). Одной из ведущих моделей оптимизации государственного управления является оценка регулирующего воздействия (ОРВ). Под ней понимается механизм систематического выявления основных целей и проблем, а также предлагаемых норм регулирования, выявления и оценки основных альтернатив достижения целей в процессе акцептирования управленческих решений.В-третьих, в рамках исследования были определены основные теоретические и практические вопросы проведения оценивания как процесса.Оценка была рассмотрена как многослойный процесс, отражающий рефлексию по поводу деятельности со стороны действующего субъекта, вовлеченных в его деятельность лиц, а также внешнего наблюдателя. В результате такого понимания стало возможным выделение видов оценки: внешняя, внутренняя и самооценка. Каждый из видов оценки может быть подразделен на этапы оценивания (policy making):восприятие необходимости проведения оценки; постановка задачи; дизайн оценки; сбор данных, анализ данных; документирование результатов оценки — подготовка отчета; обратная связь по результатам оценки; принятие решения — практическое использование результатов оценки. В ходе исследования было особо подчеркнуто несколько ключевых моментов, связанных с основными принципами анализа данных — универсальный аналитический цикл, определяющийся четырьмя этапами: предоставлением фактов, использованием интерпретаций, приведением выводов и обоснованием рекомендаций. Было показано, что на стыке взаимодействия участников оценки: ее субъектов, объектов, заказчиков, представителей общественности и иных заинтересованных сил (в том числе представителей международного сообщества) — исторически была сформирована этика взаимодействия участников оценки. Отличительной ее чертой стали партнерские взаимоотношения всех участников процесс и выстраивание многокомпонентной обратной связи при ведущей роли оценщика. СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫПрограммы, рекомендации, разработки, материалы семинаров, методические указания по оцениванию в политике Всемирный Банк 2003. Состояние здоровья населения и контроль заболеваемости. Серия семинаров по политике в области общественного здравоохранения в Российской Федерации. http://www.worldbank.org.ru/ECA/Russia.nsf/ECADocByLink2ndLanguage/E3A8664738015177C3256C91004B09EC#4.3.3Реформа медицинской системы 2003. http://www.mfit.ru/economic/obzor/ob29.12.03ФОМ, Реформы в России.http://bd.fom.ru/report/map/tb041604Better Policy Making: A Guide to Regulatory Impact Assessment http://www.cabinet-office.gov.uk/regulationBrazil country program evaluation, FY2004-11: evaluation of the World Bank Group program. Washington, D.C. : Independent Evaluation Group, The World Bank Group, 2014. 264 p. CEC 1999. Evaluation design and management, Volume 1, MEANS Collection: Evaluating socio-economic programmes, Commission of the European Communities, OOPEC, Luxembourg.Consolidation and Expansion. – Furubo J.-E. Rist R.C. Sandahl R. (eds), International Atlas of Evaluation, New Brunswick and London: TransactionLiberia Country Program Evaluation 2004-2011 [Electronic resource]: Evaluation of the World Bank Group Program. Washington, D.C.: The World Bank, 2013. 216 p.Program evaluation [Electronic resource]: experienced agencies follow a similar model for prioritizing research: report to the Subcommittee on Oversight of Government Management, the Federal Workforce, and the District of Columbia, Committee on Homeland Security and Governmental Affairs, U.S. Senate. Washington, D.C.: U.S. Govt. Accountability Office, 2011. 32 p.Program evaluation: strategies to facilitate agencies' use of evaluation in program management and policy making: report to congressional committees. United States. Government Accountability Office. Washington, D.C.: United States Government Accountability Office, 2013. 56 p.United States General Accounting Office. Performance Measurement and Evaluation: Definitions and Relationships. Washington, DC: USGAO,1998. Литература Анализ и оценивание государственных программ и отраслевых политик: ридер к учеб. дисциплине / Цыганков, Д. Б. Смирнова, М. В. Settles, A. М.: ГУ-ВШЭ, 2006. 252 с.Беляев А.Н. Цыганков Д.Б. и др. Англо-франко-немецко-русский глоссарий по оцениванию / препринт ГУ-ВШЭ, серия WP8 "Государственное и муниципальное управление", Москва, ИД ГУ-ВШЭ, 2005. С. 42-48. Беляев А.Н. Цыганков Д.Б. Оценивая эффективность реформы: новые технологии оптимизации государственного управления // Вестник актуальных прогнозов, Москва, ноябрь 2004, № 11, С. 26-29.Голодникова А.Е., Цыганков Д.Б. «Таргетирование» оценки регулирующего воздействия: международные подходы и российская практика // Вопросы государственного и муниципального управления. 2015. № 4. С. 7-40. Дегтярев А.А. Методологические подходы и концептуальные модели в интерпретации политических решений (III) // Политанализ.Ру. 2003 [Электронный ресурс]. Режим доступа: http://politanaliz.ru/articles_57.html (01.05.2016). Дегтярев А.А. Политический анализ как прикладная дисциплина: предметное поле и направления разработки // Полис, 2004, № 1. С. 154-168. Дегтярев А.А. Процесс принятия и осуществления решений в публично-государственной политике: динамический цикл и его основные фазы // Политанализ.Ру. 2004 [Электронный ресурс]. Режим доступа: http://politanaliz.ru/articles_473.html (01.05.2016).Егоров А. Владимир Путин проконсультировал кардиохирургов // Страна.Ру. 2002 Электронный ресурс]. Режим доступа: http://www.strana.ru/stories/02/03/19/2607/148455.html (01.05.2016).Клищ Н.Н. Методы повышения эффективности управления в органах государственной власти // Состояние и механизмы модернизации государственного управления в РФ. М., 2004. С. 34-41. Кузьмин А.И. Оценка проектов и программ. М.: ПРЕСТО-РК, 2005 г.Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследований. СПб. Социально-психологический центр, 1996. Ларичев О.И. Теория и методы принятия решений. — М.: Логос, 2002. 198 с.Мадер Л. Оценка законодательства — вклад в повышение качества законов. 2002 [Электронный ресурс]. Режим доступа: http://www.tezavr.ru/lawmaking/material (01.05.2016).Маршаков В. Оценивание политик и измерение результативности: мировой опыт и российские перспективы оценивания эффективности государственного управления [Электронный ресурс]. Режим доступа: http://www.iopp.ru/pub/Eval_performance%20measurement.doc (01.05.2016).Мэнинг Н., Парисон Н. Реформа государственного управления. Международный опыт. М.: Весь мир, 2003. 450 с. Оболонский А.В. Бюрократия для XXI века? Модели государственной службы. Россия, США, Англия, Австралия. М.: Дело, 2002. 248 с. Полякова И. А. Состояние и динамика трудовой и научно-инновационной сфер Российской Федерации: статистический анализ и оценивание / И. А. Полякова, Г. А. Бондаренко, Ю. И. Иващенко. Ростов-на-Дону: Изд-во РГЭУ (РИНХ), 2013. 142 с.Симонов К.В. Политический анализ. — М.: Логос, 2002. 230 с. Туранок С.Г. Политический анализ: Курс лекций. М., 2005. 230 c.Цыганков Д., Карпова П. Советы по оптимизации регулирования как неотъемлемый компонент «smartregulation» // Вопросы государственного и муниципального управления. 2012. № 3. С. 5-34.Цыганков Д.Б. Российский политико-управленческий цикл: дефициты подходов к оцениванию // Оценка политик и новая политическая экономия: инструменты анализа экономических реформ, М.: ЦЭМИ РАН, 2006. с. 5-12.Якунин В., Сулакшин С. О значении факторного анализа при формировании государственной политики // Власть. 2006. № 9. С. 64-69.A Transformative Perspective on Administrative Reforms / Ed. Christensen T. Lagreid P. New Public Management, Aldershot: Ashgate. 2001. 340 p. Abbott M. L. The program evaluation prism: using statistical methods to discover patterns. Oxford: Wiley-Blackwell, 2010. 310 p. Abbott M. L. The program evaluation prism: using statistical methods to discover patterns. Oxford: Wiley-Blackwell, 2010. 310 p. Anderson J. Public Policymaking: An Introduction. Boston, 1994. 340 p. Barzelay M. Gallego R. The comparative historical analysis of public management policy cycles in France, Italy, and Spain: symposium introduction // Governance. 2010. Vol. 23. N 2. P. 209-223.Barzelay M. Gallego R. The comparative historical analysis of public management policy cycles in France, Italy, and Spain: symposium conclusion // Governance. 2010. Vol. 23. N 2. P. 297-307.Bemelmans-Videc M.L. Evaluation in The Netherlands 1990-2000. 2002. 120 p. Carlsson L. Non-Hierarchical Evaluation of Policy // Evaluation. 2000 Vol. 6 (2). P. 119-121. Davies I.C. Evaluation and Performance Management in Government // Evaluation, 1999. Vol. 5(2). P. 46-51. Dunn W. Public Policy Analysis: An Introduction. Englewood Cliffs, 1994. 255 p. Etkin C., Coutts B. Public agenda online: the inside source for public opinion and policy analysis // Library Journal. 2003. Vol. 128. N 7. P. 43.Fitzpatrick J. L. Program evaluation: alternative approaches and practical guidelines / Jody L. Fitzpatrick, James R. Sanders, Blaine R. Worthen; 4th ed. Upper Saddle River, N.J. : Pearson Education, 2011. 544 p. Fitzpatrick J. L. Sanders J. R., Worthen B. R. Program evaluation: alternative approaches and practical guidelines / 4 ed. Boston; Munich: Pearson Education. 2012. 544 p. Grembowski D. The practice of health program evaluation / Second edition. Los Angeles: SAGE Publications 2016. 324 p. Hall I. Evaluation and social research, Palgrave Macmillan, 2004. 159 p. Handbook of practical program evaluation / Ed. K. E. Newcomer, H. P. Hatry, J. S. Wholey; Fourth edition. Hoboken, NJ: Jossey-Bass, 2015. 864 p. Handbook on the theory and practice of program evaluation / Ed. A. N. Link, N. S. Vonortas. Cheltenham: Edward Elgar, 2013. 403 p.Huey T. Ch. Practical program evaluation: theory-driven evaluation and the integrated evaluation perspective; Mercer University, Second edition. Los Angeles: SAGE Publications, 2015. 443 p. Kapp S. A. Agency-based program evaluation: lessons from practice. Los Angeles: SAGE, 2010. 365 p. Kuhlman S. Evaluation of Local Government Modernization: Implementation and Effects of the „New Steering Model“ in German Municipalitie. 2004. 125 p. Kuhlman S. Performance Measurement and Performance Comparison in German Local Governments. 2004. 209 p. Kuhlmann S. Evaluation of research and innovation policies: a discussion of trends with examples from Germany // International Journal Technology Management, 2003, Vol. 26. P. 26-32. Kuipers H. Richardson R. Active Qualitative Evaluation: Core Elements and Procedures // Evaluation. 1999.Vol. 5(1). P. 25-31. Kuzmin A., Tsygankov D. The emerging field of evaluation and the growth of the evaluation profession: the Russian experience // The Canadian Journal of Program Evaluation. 2013. Vol. 28. N 3. С. 87-102. Langbein L. I. Public program evaluation: a statistical guide / 2nd ed. Armonk, N.Y. : M.E. Sharpe, 2012. 252 p.Langbein L. I. Public program evaluation: a statistical guide / 2nd ed. Armonk; N.Y.: M.E. Sharpe, 2012. 252 p. Martin S., Sanderson I. Evaluating Public Policy Experiments. Measuring Outcomes, Monitoring Processes or Managing Pilots? // Evaluation. 1999 Vol. 5(3). P. 78-81. Mertens D. M. Program evaluation theory and practice: a comprehensive guide. New York, NY: Guilford Press, 2012. 619 p.Mertens D. M., Wilson A. T. Program evaluation theory and practice: a comprehensive guide. New York, N.Y.: Guilford Press. 2012. 621 p. Niskanen W. A. Policy analysis and public choice / Selected papers. Cheltenham: Edward Elgar, 2004. 198 p. Parsons D.W. [Book review] Public policy, an introduction to the theory and practice of policy analysis // Journal of Policy Analysis and Management. 1997. Vol. 16. P. 176-178.Policy analysis and public policy research in and on modern government and public sector reform: ридеркучеб. дисциплине / Вольманн, Х., ЦыганковД. Б. М.: ГУ-ВШЭ, 2004. 162 с.Posavac E. J. Program evaluation: methods and case studies. 8th ed. Upper Saddle River, N.J. .: Pearson Education, 2011. 319 p. Posavec E., Carey R. Program Evaluation. Englewood Cliffs, NJ: Prentice Hall, 1992. 78 p. Program evaluation: an introduction / 5th ed. Belmont, CA: Wadsworth Cengage Learning., 2010. 401 p. Rhodes R.A.W. Understanding Governance. Policy Networks, Governance, Reflexivity and Accountability. Buchingham, 1999. 450 p. Schober S., Bergsmann C., Evelyn B. Program Evaluation // International Encyclopedia of the Social & Behavioral Sciences. 2012. P. 324-326. Spaulding D. T. Program evaluation in practice: core concepts and examples for discussion and analysis / Second edition. San Francisco: Jossey-Bass, 2014. 198 p. Spaulding D. T. Program evaluation in practice: core concepts and examples for discussion and analysis / Second edition. (s.l.): (s.n.). 2014. 198 p. Spector M. J. Program Evaluation // The SAGE Encyclopedia of Educational Technology. 2011. P. 528-530. The program evaluation standards: a guide for evaluators and evaluation users / Ed. D. B. Yarbrough; 3rd ed. Thousand Oaks, Calif. : SAGE, 2011. 334 p.The program evaluation standards: a guide for evaluators and evaluation users / 3rd ed. 2011. Los Angeles: SAGE. 334 p. Van Der Knaap P. Performance Management and Policy Evaluation in the Netherlands // Evaluation. 2000. Vol. 6(3). P. 8-13. Weissert, C. S. Goggin M. L. Nonincremental policy change: Lessons from Michigan’s medicaid managed care initiative // Public Administration Review 62 (2 March/April 2002), pp. 206-216.Wollmann H. Policy knowledge and contractual research — International Encyclopedia of Social and Behavioral Sciences. Vol. 5. Elsevier, 2003. P. 288-292. Wollmann H. Public sector reform and evaluation. Approaches and practice in international perspective // Evaluation in Public Sector Reform. Concepts and Practice in International Perspective, Cheltenham/Northampton: Edward Elgar, 2003. P. 55-61.