Эволюция концептуальных моделей тестирования.

Эволюция концептуальных моделей тестирования

Введение
Глава 1. Анализ существующих систем тестирования
1.1. Основные этапы развития тестирования
1.2. Современная теория тестов
Глава 2. Адекватные модели тестирования
2.1.Единый государственный экзамен как пример модели тестирования
Глава 3. Лексический анализ моделей тестирования
Литература

Эволюция концептуальных моделей тестирования.

Введение массового контроля знаний школьников совпало по времени с периодом укрепления режима личной власти Сталина, с его стремлением напрямую подчинить себе работу Наркомпросов. В связи с тем, что большинство его политических оппонентов благожелательно относились к педологии и к идее тестирования, Сталин развернул борьбу против педологов, считая их своими если не явными, то потенциальными противниками. Появление в то время педологии не было исторической случайностью. Это было так же неизбежно, как появление и других прикладных наук. Хотя педология претендовала на статус фундаментальной науки о комплексном развитии ребенка, она была, если судить по методам и результатам, все-таки прикладной педагогикой, необходимо дополнявшей педагогику в ее самом слабом месте - связи науки с практикой образования и обучения. Однако вместо сотрудничества педагогики и педологии началось политическое избиение последней, что окончилось не научной, а скорее, политической «победой» сторонников «чистой» педагогики. Таким образом, педология стала первой в списке наук, которые позже назовут репрессированными.
Запрещение педологии, а вместе с нею и тестов, стало одним из первых фактов идеологического давления на неугодные науки, научные направления и на отдельных ученых. В числе пострадавших от такого давления, а временами просто наглой и подлой травли, оказались авторы выпускавшихся в конце 20-х - начале 30-х годов сборников «Тесты: теория и практика». Это М.Я. Басов, М.С. Бернштейн, П.П. Блонский, А.П. Болтунов, С.М. Василейский. Воцарившаяся после запрета ситуация отрицательного отношения к тестам, в которой последние отвергались, как говорится, с порога не давала практической возможности публиковать что-либо в их защиту. Всего в 1937 году было репрессировано более 300 ученых - педагогов и педологов. Были репрессированы также наркомы просвещения Cоюза и всех республик, их заместители, начальники отделов и многие другие. В политической жизни страны резко усилился субъективизм. Субъективизм в политике, а затем и в педагогике, препятствовал развитию любого объективного метода контроля, ибо в последнем усматривалась угроза существованию командно-административной системы, с ее тщательно культивируемым «отрицательным» подбором кадров, в соответствии с которым каждое последующее поколение управленческих кадров оказывается хуже предыдущего. Это происходит, в частности, из-за того, что решающими признаком подбора становятся не знания и не способности, а послушность в выполнении приказов вышестоящих, часто некомпетентных, а то и психически нездоровых лиц. Послушными легко управлять. К сожалению, ошибочная кадровая политика продолжается в России и сейчас.
Тесты возникли значительно позже того периода, когда в Европе уже сложились первые педагогические системы Коменского, Ушинского, Дистервега, Гербарта, Песталоцци и др. Идея Гельвеция о всемогуществе воспитания была подхвачена Марксом и абсолютизирована на российской почве с начала 30-х годов - в форме господствующей идеи советской педагогической науки, основным предметом и целью которой стало воспитание в духе преданности известным лицам и идеям; остальные составляющие, такие, как образование и обучение, могли быть только воспитывающими в том же духе. Побочным продуктом этой идеи стала так называемая «воспитательная концепция» профориентации, цель и методы которой выродились в пропаганду рабочих профессий и в противоречащее здравому смыслу отрицание тестов.
В 1936 году тесты запретили как «буржуазные и вредные». Однако истинные причины являются скорее политическими. Тесты не использовались почти в течение сорока лет. В течение всего этого времени печатались в основном статьи о вредности тестов, о недопустимости их использования в отечественной педагогической науке и практике.
Хотя в тридцатых годах практическая работа в области тестологии затормозилась, научное изучение действительных возможностей этого метода в СССР полностью не прекращалось. Практика тестирования характеризовалась серьезными противоречиями, что привело к запрету применения тестов в сфере образования, профотбора и профориентации.
С тех пор отношение к тестам стало неоднозначным. Одни видели в тестовом контроле средство принижения роли педагога, воспринимали тесты как средство выражения недоверия к традиционно выставляемым оценкам и потому проявляли определенную настороженность. Другие считали сами тесты виновными в различных нарушениях и потому отвергали идею тестового контроля знаний, как говорится, с порога. И только немногие рассматривали их как средство радикального преобразования учебного процесса в сторону его объективизации - и становились энтузиастами этого метода. Как отмечал П.П. Блонский, тесты - это больше, чем средство контроля; это средство рационализации школьного дела, а возможно и всего образования в целом.
Поскольку тесты считались основным методом педологии, то, отказав в научности педологии, руководители педагогической науки тех лет отказались признать также и научность тестов. Здесь было допущено сразу несколько ошибок, возможно, преднамеренных. Одна - в отношении к педологии, которая имела ряд интересных научных достижений, не вписывавшихся в современную ей педагогику. Вторая ошибка - в признании тестов в качестве специфического метода педологии. Хотя известно, что абсолютно специфических частных методов (в которых бы не присутствовали элементы познания, применяемые в других методах) нет. И третья ошибка - отказ в признании научности тестового метода. Это сильно затормозило развитие самой педагогической науки, лишив ее предпосылок для разработки самого эффективного метода контроля знаний.
В СССР условий для занятий тестами фактически не было. Тестирование в СССР и России периода пятидесятых - семидесятых годов нашего столетия можно охарактеризовать как застой. Над общественным устройством жизни довлел субъективизм членов Политбюро ЦК КПСС. Субъективизм, как известно, мировоззренческая позиция, игнорирующая объективный подход к действительности, отрицающая объективные законы природы и общества. Он всегда препятствовал развитию общества, а вместе с тем, и тестовых методов объективного контроля знаний.
В СССР много писалось о вредности и буржуазности тестов, о недопустимости использования последних в педагогической науке и практике. Субъективизму и связанным с ним различным нарушениям противопоставляется такая система организации контроля, которая исключила бы отрицательные проявления в принципе, опиралась бы на объективированные методы. Однако в рамках авторитарной педагогики контроль нередко становился средством не столько побуждения, сколько принуждения к хорошей учебе, что вызывало нередко негативную реакцию учащихся.
Анализ положения дел с тестовым контролем в СССР и в других странах показывал: многие страны опережали нас по масштабам практической работы, по финансированию научных исследований, по числу публикаций, по подготовке научных кадров, по уровню и качеству развития теории тестов, по технической и программно-вычислительной оснащенности тестового процесса. Наиболее развитые в тестовом отношении страны - Нидерланды, США, Англия, Япония, Дания, Франция, Израиль, Финляндия, Канада, Австралия, Новая Зеландия и др. Нет никакой случайности в том, что в этот список попали страны с высоким уровнем жизни населения. По мнению В.С. Аванесова, здесь связь опосредована цепочкой: применение тестов благотворно влияет на качество образования; качество образования связано с качеством управления; качественное управление создает предпосылки для повышения качества жизни населения. Такова удивительная связь тестов с качеством жизни.
Хотя интерес к тестам в СССР заметно вырос, ситуация с ними не только не улучшилась, а в некотором отношении даже ухудшилась. Потому что кажущаяся простота создания тестов, в сочетании с конъюнктурными интересами породили множество некачественных самоделок, дискредитирующих этот перспективный метод научной организации самоконтроля и объективного педагогического контроля знаний. Тестирование становилось своего рода модой, особенно в престижных школах, где тесты начинают применять вместо приемных и выпускных экзаменов. Отчасти это происходило из-за того, что наиболее распространенным и признанным в мире методом объективной оценки знаний считался именно тест.
1.2. Современная теория тестов
Среди современных тестовых моделей актуальным представляется педагогическое измерение латентных качеств (в западной литературе - «Latent Trait Theory»). Данная теория направлена на измерение именно латентных качеств, что составляет ее специфику. Однако такое утверждение не совсем соответствует действительности, поскольку все теории тестов направлены на оценку скрытых компонентов измерений, не наблюдаемых явно.
Все теории тестов исходят из аксиомы устойчивого существования скрытых (латентных) компонентов измерения испытуемых. Еще в начале 30-х годов 20 века А. Тюрстон подчеркивал важность индекса надежности результатов измерения. Данный показатель является мерой связи наблюдаемых значений каждого варианта теста со скрытыми, ненаблюдаемыми компонентами измерений. В связи с этим само название теории аргументов название теории - «Latent Trait Theory» - нельзя назвать верным. Вместо него применяется второе название «Item Response Theory». В отечественной тестологии эту теорию называют «современной». Предметом ее являются не тесты как системы заданий, а конкретные отдельные задания, поэтому это скорее не теория «тестов», а математизированная теория анализа характеристик тестовых заданий.
Основу «современной» теории составляет утверждение о том, что вероятность правильного ответа испытуемого зависит от уровня его подготовленности и от параметров задания. Несмотря на то, что отдельные методы теории (например, расчет информационной функции теста) используются для оценки соответствия теста уровню подготовленности испытуемых, оно является следствием суммирования значений информационных функций отдельных заданий. Таким образом, на русский язык теория «Item Response Theory» может быть переведена как математико-статистическая теория анализа тестовых заданий. Такое название сближает ее с названием оригинала, а также согласуется с классификацией теорий педагогического измерения латентных качеств.
Тестовые методы оценки качества знаний получили широкое распространение во многих странах. Основное достоинство тестов состоит к экономии времени и возможности проверить достаточно большое количество элементов знаний, необходимых для дальнейшей учебы. В современном образовании тесты начинают играть все более значительную роль.
В то же время современное тестирование имеет ряд проблем, в числе которых отсутствие необходимого количества качественных тестовых материалов, трудоемкость проведения тестирования. Наряду с этим наблюдаются сложности принятия решений на основе больших объемов информации, включающей множество разнородных элементарных факторов.
В настоящее время в системе высшего образования широко применяются компьютерные технологии тестирование. В качестве примера рассмотрим технологию «Камертон», которая разработана как инструмент для оценки качества подготовки студентов при самообследовании учебного заведения и (или) отдельной специальности в ходе подготовки к аттестации. Данная система позволяет обработать огромное количество информации в сжатые сроки.
Компьютерная система тестирования знаний позволяет проводить тестирование без привлечения преподавателей. Она функционирует в среде MS-DOS на IBM-совместимом компьютере и предъявляет минимальные требования к аппаратным средствам. Данная система была внедрена в Татарском институте содействия бизнесу и успешно в нем использовалась для тестирования абитуриентов и студентов.
Система «Камертон» представляет собой эффективный инструмент для оценки качества подготовки студентов. В то же время компьютерное тестирование в данном случае – процесс не автоматический, а полуавтоматический и автоматизированный. Это означает, что в случае полуавтоматического тестирования задания выполняются на бумаге, после чего оператор вводит в компьютер ответы, записанные студентами на специальном бланке. В случае автоматизированного тестирования задания тоже выполняются на бумаге, решения проверяются преподавателем, затем результаты проверки вводятся в компьютер. В случае же автоматического процесса тестирования студент выполняет задания в непосредственном диалоге с компьютером.
Система компьютерного тестирования знаний позволяет в процессе диалога с компьютером проводить тестирование без участия преподавателя. Однако следует отметить, что тестирование проводится только по заданиям закрытого типа. В случае заданий открытого типа появляются некоторые трудности, которые в настоящее время еще не решены, например, распознавание ответов произвольной формы.
Одна из перспектив компьютерного тестирования - это работа компьютерной системы тестирования знаний в сети. Это позволит иметь единую базу тестов на сервере. Таким образом, преподаватель сможет иметь оперативный доступ к результатам тестирования. Так как все результаты тестирования будут храниться в одной базе данных совместимой с базой данных системы «Камертон», то можно будет получать разнообразные выборки из этой базы.
Глава 2. Адекватные модели тестирования
2.1.Единый государственный экзамен как пример модели тестирования
В 2001 году в России начался эксперимент по введению единого государственного экзамена (ЕГЭ). «Единый» - означает, что экзамен сдается один раз, а полученные отметки (баллы) идут в школьный аттестат, и их же подают в вуз на конкурс1.
В первый год эксперимента в ЕГЭ приняло участие всего пять субъектов Российской Федерации. С каждым годом их количество увеличивалось: в 2004 году в ЕГЭ участвовали уже 64 региона (в том числе и Москва), а в 2006 – 79 регионов. Единый экзамен по 13 предметам школьной программы в 2006 году сдавали более 830 тыс. человек. Получается, что сейчас в ЕГЭ участвует около 80% выпускников российских школ.
ЕГЭ должен объединить в себе и школьные выпускные, и вузовские вступительные экзамены. Он призван упростить процедуру поступления в вуз, сделать высшее образование одинаково доступным для выпускников школ, независимо от финансового и социального положения их родителей, а также места жительства.
В 2006 году около 500 тыс. абитуриентов было зачислено в 1650 вузов по результатам ЕГЭ. Из них 35% отправили документы и были приняты на учебу в другие города, а 25,5% приехали из сельской местности.
С момента своего появления ЕГЭ вызывает много споров и не всеми воспринимается однозначно. ЕГЭ проводится в форме письменного тестирования по школьным предметам. Каждый выпускник сдает русский язык и математику, а также три предмета на выбор, в зависимости от того, в какой вуз он решил поступать.
В 2007 году продолжительность экзаменов по математике и литературе составляла 4 часа; по физике и истории России – 3,5 часа; по русскому языку, биологии, химии, обществознании, географии – 3; по иностранным языкам – 2 часа 50 минут. Это «чистое» время – в него не входит инструктаж абитуриентов, вскрытие пакетов, заполнение регистрационной части бланков.
Тест по каждому предмету включает задания трех типов: А – с выбором ответа из четырех предложенных, В – с кратким свободным ответом (одним словом или числом), С – с развернутым свободным ответом (включающим словесное обоснование, математический вывод и т.п.). Общее число заданий в экзаменационных билетах колеблется в зависимости от предмета от 25 до 80. Опыт показывает, что по математике для получения оценки «5» необходимо выполнить примерно 2/3 заданий, «4» - 45% заданий, по русскому языку «5» - более 90% выполненных заданий, «4» - ¾ заданий. Эти цифры каждый год меняются.
Результаты тестирования оцениваются по 100-балльной шкале и выставляются в свидетельство сдаче ЕГЭ. Для школьного аттестата баллы по специально разработанной системе пересчитываются в привычные всем школьные отметки. Таким образом, выпускник получает на руки два документа: аттестат об окончании школы и свидетельство о сдаче ЕГЭ2.
ЕГЭ проводится по общему расписанию (один предмет в день) в специальных «пунктах приема ЕГЭ» - вузах, техникумах и базовых школах. Для организации и проведения экзамена создаются специальные комиссии. Непосредственно к проведению экзамена допускаются специально назначенные преподаватели, не являющиеся специалистами по тому предмету, по которому они проводят экзамен, и не работающие в базовой школе, где проводится экзамен. За соблюдением всех правил экзамена следит инспектор-наблюдатель, который имеет право аннулировать результаты, если правила были нарушены.
После завершения экзамена бланки с ответами в запечатанном виде доставляют в региональные центры, а оттуда в сканированном виде по электронной почте в Центр тестирования министерства образования РФ, где происходит автоматический пересчет бланков для каждого учащегося и сохранение результатов в сводной общероссийской базе данных. Правильность выполнения работ проверяют с помощью компьютеров. Развернутые свободные ответы оценивают независимые эксперты, - с такой задачей машины не справляются. Все работы проверяются без титульных листов и в зашифрованном виде, что должно гарантировать объективность и непредвзятость.
В современной педагогике сформировалось понятие «жестких» и «мягких» моделей обучения. В первых – вариативность если и присутствует, то исключительно как выбор единственно правильного решения среди множества неправильных. Особенно это характерно для широко применяемых в настоящее время методов контроля знаний, реализуемых посредством тестов. Непродуктивность такого подхода, особенно для гуманитарных дисциплин, неоднократно обсуждалась. На самом деле она проявляется в ситуациях, когда отказываются от знаниевой парадигмы и пытаются оценивать результаты учебного процесса с иных, например компетентностных позиций.
Сеногноева Н.А. предлагает новый подход. В соответствии с ним тестирование становится средством оценки учебной деятельности позволяющей реализовать «мягкую» модель обучения. Привлекательность этого средства контроля результатов обучения обеспечивается наличие измерения, позволяющего поставлять объективную количественную и качественную информацию о процессе обучения, ставить диагностику пробелов и прогноз успешности. В процессе тестирования взаимосвязь деятельности учителя и ученика предусматривается, с одной стороны, путем создания теста, а с другой – посредством его выполнения и интерпретации результатов3.
Педагогическое тестирование в современной России приобретает все более массовый и всеохватный характер. Вместе с тем к тестированию в российском обществе сохраняется неоднозначное отношение: от признания в качестве единственного объективного инструмента оценки способностей или знаний до полного отрицания и даже тестофобии. Интерес к тестам еще более возрос в связи с проведением в 2001 году эксперимента по внедрению ЕГЭ4.
Хотя введение ЕГЭ было квалифицировано как модернизация российского образования, но практика показала, что задуманная модернизация по большому счету стала реформируемой. Масштабы проведенных в последние годы преобразований – это глубокая реформа. Как любая другая реформа, она требует системного анализа, который дает основания говорить о профессионально грамотном подходе к организации перехода отечественного образования к организации процедур массового тестирования. Оно началось в 90-х годах с организации массового тестирования под эгидой Московского государственного педагогического университета, а с 1995 года массовое тестирование было распространено на всю страну. Следует отметить, что массовое тестирование внедрялось в образовательную практику на исключительно добровольной основе, как дополнительная платная услуга.