Педагогическое тестирование в России и США

Педагогическое тестирование в России

Современное состояние педагогического контроля в российской системе образования представляет собой контрастное соеди­нение старого с новым, субъективного с объективным, устного опроса по пятибал­льной системе оценок с попытками вне­дрения контролирующих технологий. Од­ним из самых перспективных методов нам представляется тестовый — быстро развивающееся направление на стыке пе­дагогики, теории измерений, математиче­ского моделирования, математической ста­тистики и автоматизации. Внедрение и развитие такого тестирования внесет суще­ственный вклад в процесс реформирова­ния отечественной системы образования и ее интеграцию в мировую образовательную практику.

История проверки знаний и способно­стей с помощью различных заданий на­считывает около 4 тыс. лет. Однако ре­альное использование педагогических тес­тов началось век назад, когда в педагоги­ке и психологии была сформулирована проблема исследования индивидуальных различий. Научно разработанный тест представляет собой совокупность взаимо­связанных заданий возрастающей сложно­сти, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности. В зависимости от длительности контролируе­мого периода обучения контроль можно разделить на текущий, тематический, ру­бежный, итоговый и заключительный. Его проведение связано с выполнением основ­ных педагогических функций — диагно-стической, обучающей, организующей, вос­питывающей и развивающей; базируется на принципах гласности (открытость всех этапов контроля), объективности (использо­вание стандартных тестовых программ и технических средств), научности (надеж­ность и валидность), систематичности и эффективности (минимальные затраты вре­мени и средств контроля). В дополнение к педагогическому контролю целесообразно использовать методы психологической диа­гностики, например оценку внимательности, памяти, интеллектуальных и творче­ских способностей.

Появившиеся на рубеже XX в. педагоги­ческие тесты довольно быстро завоевали популярность во всех развитых странах. Однако в СССР к 30-м гг. развернулась их встречная критика, а затем и полный запрет, продолжавшийся вплоть до начала 70-х гг. Советская педагогика этого пери­ода фактически отказалась от математи­ческих моделей обучения, статистических методов обработки педагогических данных и даже анкет, которые в то трудное вре­мя были названы "вредными". С конца 80-х гг. педагогическое тестирование в нашей стране переживает второе рожде­ние.

Инициатором этого процесса стало Гос­образование СССР, а основным исполните­лем — кафедра педагогических измерений его Исследовательского центра под руко­водством В.С.Аванесова. Здесь были со­браны и проанализированы основные тео­ретические и практические результаты в данной области, полученные междуна­родным сообществом. Однако, как оказа­лось, главная трудность заключалась в том, что научно обоснованные междуна­родные педагогические тесты не поддава­лись однозначной адаптации к отечествен­ной системе образования в силу ее специ­фики. На эту работу потребовалось целое десятилетие.

В середине 90-х гг. организован Центр тестирования Минобразования России, на который возложена роль основного коорди­натора теоретических исследований, посвя­щенных педагогическому тестированию, и их внедрения в образовательную систему страны. С I998 г. Центром осуществляет­ся широкомасштабный эксперимент по проведению централизованного абитуриент­ского тестирования в вузы России, кото­рый дал неоценимый опыт создания и внедрения итоговых педагогических тестов по отдельным дисциплинам в общеобразо­вательную среднюю школу. По результатам эксперимента создается единый банк те­стовых заданий; сформированы обобщенные умения по географии, физике, исто­рии, химии; создана стандартизованная спецификация тестов; осуществляется раз­работка классификации тестовых заданий и сервисных программ для автоматизации их проектирования, экспертизы и исполь­зования. Уже можно сделать вывод о том, что централизованное тестирование способно объективно оценить уровень школьных знаний и отобрать лучших сту­дентов из числа прошедших тестирование абитуриентов, т.е. оно может служить кон­курентоспособной альтернативой традици­онной форме приемных экзаменов в вуз. Среди организационно-педагогических и теоретических проблем развития тестирова­ния в России организаторы и участники эксперимента выделили следующие:

- создание единой системы мониторинга качества образования по схеме: учебное – учреждение — регион — федеральный центр:

- организация подсистем бланочного и компьютерного тестирования и их интегра­ция для оптимизации функционирования федеральной системы:

подготовка учащихся, учителей, экзаменаторов, административного и технического персонала к участию в централизован­ном тестировании;

адекватный перевод результатов тестиро­вания в традиционную 5-балльную шкалу:

корректный выбор формы заданий и их числа, обеспечение репрезентативности выборки, надежности и валидности тестов;

создание тестов разного уровня сложно­сти, применяемых в зависимости от рейтинга высшего учебного заведения и показателей конкурсного отбора.

Их решение принесло конкретные пози­тивные результаты. Например, для всех желающих (учащихся, их родителей, пре­подавателей, руководителей образователь­ных учреждений и т.п.) в любом регионе России ознакомиться с правилами и про­цедурой тестирования, получить представ­ление о форме и содержании тестов, объективно оценить свой уровень знаний по разным предметам перед ежегодной официальной кампанией Центр с 1999 г. проводит бесплатное репетиционное тести­рование через Интернет. Это расширяет возможности дополнительной широкой апробации тестовых материалов, развития системы компьютерного тестирования, совершенствование элементов единой системы мониторинга качества образования [3-с. 30—32].

В педагогической литературе появилось большое количество публикаций, отражающих варианты решения выявленных проблем. В частности, приводятся результаты создания институциональных форм реализации централизованного тестирования и анализ решенных с их помощью органи­зационно-педагогических задач в отдельных вузах и регионах страны. Среди" них — разработка и создание:

программно-инструментальных систем автоматизированного тестирования, работающих в локальной сети и в режиме реального времени при удаленном доступе;

региональных консультационных центров по проблемам педагогического тестирования:

научно обоснованных характеристик перевода результатов централизованного тестирования в шкалу оценок вступительных экзаменов в зависимости от показателей конкурсного отбора абитуриентов:

единых трехуровневых итоговых тестов, ориентированных на вариативную систему образования и обеспечивающих в результате самоопределения учащихся их дифференциацию по уровню подготовленности (базовый, повышенный или углубленный уровень):

различных программно-методических комплексов для автоматизации проектиро­вания тестов, экспертизы и использования тестовых заданий по дисциплине, а также обеспечения прогностической валидности тестов достижений, обоснования формы тестовых заданий в зависимости от предметной направленности и уровня усвоения материала, разработки технологи формирования дистракторов.

Опыт централизованного абитуриентского и репетиционного тестирования послужил основой для перехода к следующему этапу — единому государственному тестовому экзамену выпускников средних школ, кото­рый в порядке эксперимента проводится с 2001 г. в ряде субъектов Российской Федерации. После этого отечественная система образования планирует отказаться от вступительных экзаменов в вузы и перейти к существующей в большинстве стран мира практике конкурсного отбора в высшие учебные заведения на основании аттестационных тестов на выходе из средней школы. Однако в связи с этим по­явились новые проблемы. Во-первых, тестирование выпускников школ и абитуриентов вузов — это разные задачи педагогического измерения, поэтому возникли трудности отбора содержания тестов для единого экзамена. Тест должен, с одной стороны, охватить минимум знаний и умений, который следует освоить каждому выпускнику средней школы в соответствии с государственными образовательными стандартами, а с другой - отразить специфику требований к отдельным разделам дисциплин, необходимым для обучения в том или ином учебном заведении по различным специально­стям или направлениям. Во-вторых, выпускники школ и абитуриенты — это различный контингент для тестирования, имеющий в целом разные уровень подготовки и образовательные цели, что предопределяет отличие в требованиях как к содержанию тестов, так и к уровню усвоения материала. И, в-третьих, при абитуриентском тестировании интерес представляет не только уровень знаний и умений претендентов, но и профессионально значимые качества личности, такие, как творческие и логические способности, объем памяти, профессиональная направленность, широта интересов, уровень технического, вербального или социального интеллекта. Последний эксперимент единого государ­ственного экзамена только начался, а ис­следователи уже публикуют различные предложения по разрешению поставленных проблем. В частности, для аттестации выпускников общеобразовательных учреж­дений нужно иметь такие тестовые задания, которые позволяют судить о мини­мально допустимой компетентности вы­пускников. За рубежом такие тесты называют Minimum Competency Test. Рекомен­дуется использование критериально-ориентированных тестов, посредством которых определяется то, что испытуемый знает и чего он не знает из заданного стандарта. Централизованное абитуриентское тестирование предназначено в первую очередь для ранжирования абитуриентов, поэтому здесь требуются иные подходы. Предлагается конструирование комби­нированного теста по математике, где на­чальные задания первого и второго уров­ней сложности предназначаются для выяв­ления соответствия критерию минималь­ных знаний предмета, определяемому учебным стандартом, а последующие — третьего уровня — служат для определе­ния рейтинга тестируемого. При абитури­ентском тестировании необходимо разраба­тывать нормативно-ориентированные тесты, так как их основная цель — ранжирова­ние учащихся по степени владения знани­ями по определенной дисциплине. Здесь задания должны контро­лировать знания на содержательно-лич­ностном уровне качеств, поэтому число репродуктивных заданий, преобладающих в критериально-ориентированных тестах, следует уменьшить за счет заданий, нося­щих творческий характер.

Единый государственный экзамен по каждой дисциплине должен состоять из двух частей. Первая часть (А) — это ат­тестационный экзамен по курсу X—XI классов, обязательный для всех учащихся. Имеются два варианта аттестации: А1 — контроль обязательного уровня подготовки выпускников и А2 — повышенного уровня. Результат тестирования переводится в 5-балльную шкалу для отметки в аттеста­те. Вторая часть (В) — по желанию вы­пускников для поступления в вузы, состо­ящая также из вариантов В1 (базовый уровень) и В2 (повышенный уровень). По совокупным ответам на задания частей А (А1 или А2) и В (В1 или В2) выдается сертификат единого государственного экза­мена с оценкой по 100-балльной шкале для поступления в вузы.

При проведении аттестационного тести­рования необходимо определить минималь­ный набор совокупности учебных элемен­тов содержания образования. Это можно сделать с помощью структурно-логических схем и матриц логической связи, которые решают задачу формирования минимально полного набора базовых учебных единиц, удовлетворяющих свойствам полноты и минимальности. На основе подобных идей реализуется основной принцип формирования единого банка те­стовых заданий — возможно полное и подробное отражение содержания предмета его логической структурой. В связи с этим решается задача создания перечня обобщенных видов умений по каждой дисциплине, обладающих свойства­ми полноты и минимальности. В соответ­ствии с этим принципом в Центре тести­рования Минобразования РФ сформирова­ны обобщенные умения по географии, физике, истории и химии.

Возможен "тезаурусный подход" к опре­делению содержания обучения, основанный на разработке базовых понятий соответ­ствующих учебных дисциплин и специаль­ностей. В педагогических исследованиях чаще встречаются два типа тезаурусов — "информационно-поисковый" (Л.Т.Турбович. 1970) и "логико-категориальный" (Л.В.Ма­карова. 1992). Первый тип делит множе­ство учебных понятий на отдельные обла­сти, а второй устанавливает между ними логические и функциональные взаимные связи. Предлагается методика составления информационно-поискового тезауруса на основе классификатора знаний и способно­стей Б.Блума — Р.Гегна. дополненного В.С.Аванесовым [9]. В частности, разрабо­таны два классификатора знаний по био­логии, содержащие знания "дифференци­ального" и "интегрального" типов. Первый из них. основываясь на типологии мысли­тельных операций, содержит группы фактуальных. сравнительных, ассоциативных, причинных, алгоритмических, классифика­ционных, системных, метрологических и методических знаний. Второй на основе деятельностного подхода содержит "житей­ские", мировоззренческие, технологические, математические, кибернетические, квалита­тивные и акмеологическне знания. Анализ репетиционных тестов по биологии позво­лил авторам диагностировать в них 30% фактуальных знаний (термины, определе­ния, исторические факты и достижения ученых, законы и закономерности). 20% классификационных знаний (основные при­знаки растений и животных, их система­тическое положение и морфологическое описание) и 16% причинных знаний (при­чинно-следственные отношения). Мало внимания уделяется диагностике алгорит­мических (10%), ассоциативных (5%) и сравнительных (3%) знании. Таким обра­зом, педагогическое тестирование, основан­ное на таксономической модели уровней обученное™ [10] и классификаторе знани! и способностей, наиболее полно удовлетво ряет требованиям государственных образовательных стандартов.

Что касается проблемы психологической диагностики абитуриентов на предполагае­мом втором туре абитуриентского тестирования в конкретном учебном заведении, тс здесь вдобавок к сертификату выпускника средней школы предлагается психофизио­логическое обследование абитуриентов е вузе по факторам, связанным со свойства­ми нервной системы и когнитивными пси­хическими функциями — памятью, внима­нием, особенностями восприятия и мышления [11. с. 51—52]. Например, в техни­ческих вузах целесообразно оценивать психологические предпосылки к обучению и профессиональному становлению студен­тов на основании теста технического интеллекта в экономических — теста соци­ального интеллекта Дж. Гилфорда, в гума­нитарных — теста вербального интеллек­та Дж.Айзенка. Для диагностики развития приемов мыслительной деятельности ис­пользуются специфические тестовые зада­ния с помощью применения аналогий, исключения лишнего и т.п. Кроме того, полезно разрабатывать методы оценки конкретных профессионально значимых качеств личности абитуриента в соответ­ствии с его будущей профессиональной деятельностью.

Отечественная система образования весьма специфична, поэтому научные и при­кладные наработки мировых лидеров по педагогическому тестированию в нашей! стране однозначно не адаптируются, что служит основанием для развития не только прикладных разработок, но и теоретических исследований в данной области; педагогики. Последнее дополнительно сти­мулируется наличием у нас большого ко­личества научных работников с хорошей математической подготовкой, способных заняться данной актуальной педагогической проблемой. Отдельную группу здесь со­ставляют работы, выполняемые в рамках теории моделирования и параметризации педагогических тестов. Моделирование педагогических тестов I может осуществляться с пр1шенением двух f теоретических подходов — классической ? теории и современной теории 1RT (Item

Научные сообщения

Response Theory). Первая с помощью оп­ределения показателей надежности и ва-пнпности позволяет сделать оценку каче­ства разработанного теста. Для определе­ния взаимосвязанности заданий в тесте в ней используются методы корреляционного „ факторного анализа. Второй подход ос­нован на методологии латентно-структурно­го анализа XLSAI_c его мощным матема­тическим аппаратом и имеет больше воз­можностей по созданию эффективных те­стов Так, с помощью модели Г.Раша [12] посредством использования характеристи­ческих кривых можно оценивать латент­ные (скрытые) параметры уровня подго­товленности испытуемых и трудности за­даний. Разумно составленные варианты теста и статистическая обработка результа­тов тестирования в рамках данной модели позволяют получать оценки латентных па­раметров на метрической шкале, однако шкалы, соответствующие различным вари­антам теста, отличаются друг от друга. Для их преобразования в единую шкалу необходимо иметь дополнительную инфор­мацию, получаемую перекрытием вариан­тов теста для различных групп участников или перекрытием групп испытуемых, ис­следуемых различными вариантами теста. Такая дополнительная информация устра­няет неопределенность начала отсчета каждой шкалы, соответствующей различ­ным вариантам теста.

Использование двухпараметрнческой мо­дели, предложенной А.Бирнбаумом [13], позволяет определять дифференцирующую способность тестовых заданий. Для обес­печения нормализации их распределения по уровню трудности рассматриваются вопросы аппроксимации логистического распределения тестовых заданий [14. с. 59—61]. При работе с этой моделью неопределенными оказываются не только начала отсчета каждой шкалы, соответ­ствующей различным вариантам теста, но и масштабы таких шкал. Для устранения указанных неопределенностей рекомендует­ся обеспечивать определенное перекрытие вариантов теста. Обсуждаются структура перекрытия, количество общих заданий — узлов и основные требования к ним. Трехпараметрическая модель А.Бирнбаума позволяет при моделировании тестов учи­тывать вероятность угадывания ответа на каждое задание. Это повышает эффектив­ность проектирования тестов и ждет сво­его применения.

Следует отметить, что современная тео­рия измерений различает шкалы номи­нальные (наименований), порядковые (ран­говые), интервалов, отношений (пропор­ций) и разностей. При измерениях в пе­дагогике чаще всего ограничиваются при­менением порядковых шкал. Однако в работах Б.П.Битинаса, В.И.Михеева, Л.Т.Турбовича, Л.М.Фридмана, К.Инген-камна и других авторов делаются попыт­ки перехода к интервальным шкалам. Для этого все чаще используются стандартные нормы (z-шкала, с-шкала, т-шкала, р-шка-ла и др.), являющиеся нормированными шкалами на уровне шкал интервалов. В этой связи заметим, что педагогические измерения с помощью традиционной 5-балльной шкалы и тестовых оценок так­же основаны на порядковых шкалах. Од­нако перевод латентных параметров в единую метрическую шкалу позволяет пе­рейти от качественных порядковых к ко­личественным квазиннтервальным шкалам и проводить адекватную обработку резуль­татов более мощным математическим ап­паратом. Наиболее удобным для оценива­ния результатов тестирования является 100-балльная т-шкала. в которой в насто­ящее время стал выставляться сертифика­ционный балл выпускников средних школ при проведении единого государственного экзамена.

Отечественная школа при развитии те­стовых измерений показала высокую го­товность к использованию информацион­ных технологий на всех этапах разработ­ки и внедрения педагогических тестов. Здесь следует отметить значительные до­стижения Центра тестирования Минобразо­вания РФ в организации централизованно­го, абитуриентского и репетиционного те­стирования, а также единого государствен­ного тестового экзамена, результатом обоб­щения которых явилась монографическая публикация [15]. Компьютерные техноло­гии автоматической генерации тестов, про­ведения и обработки результатов тестиро­вания, региональные и федеральные систе­мы тестирования с использованием все­мирной информационно-образовательной среды Интернет возводят педагогическое тестирование в России в разряд современ­ных педагогических технологий и позволя­ют ему быстрыми шагами приближаться к мировому эталонному уровню.

Основное внимание федеральной власти, регионов и учебных учреждений уделяется итоговым аттестационным экзаменам в средней школе и абитуриентским экзаме­нам в высшей. Это та отправная точка, от которого педагогическое тестирование будет развиваться вниз (в среднюю обще­образовательную и специальную школу) и вверх (в высшую школу и послевузовское образование). Пока нормативная база оте­чественной системы образования (за ис­ключением рассмотренного выше перехода школа — вуз) не разрешает проводить тестовые экзамены итогового и заключи­тельного уровней, однако во всех компо­нентах этой системы ведется большая подготовительная работа. Наиболее акту­альным становится разработка текущих, тематических и рубежных тестов, исполь­зуемых в учебном процессе всех образо­вательных структл-р. Это большое профес­сиональное иоле, полностью заполнить которое не удастся на ближайшую обозри­мую перепекших. Для сравнения можно указать, что к США ежегодно знания и способности учашмхея проверяются с по­мощью 47 млн. тестовых бланков, выпус­каемых 400 тестовыми компаниями. По­давляющее большинство из них представ­ляют бланки текущего, тематического и рубежного уровнен

Всевозрастающее число разработчиков педагогических тестов выдвигают перед отечественной системой образования ряд важных задач.

Первая из них связана с сертификацией качества педагогических тестовых материалов, используемых для оценки знаний и других педагогических характеристик обучающихся в образовательных учреждениях РФ. С целью повы­шения качества образования и дальнейше­го совершенствования аттестационных те­стовых технологий создан Координацион­ный совет Минобразования России (при­каз Минобразования РФ № 1122 от 17.04.2000), призванный осуществлять контроль за соблюдением требований к качеству педагогических тестовых материалов, вырабатывать рекомендации по совершенствованию процесса их сертификации, определять порядок оформления и выдач сертификатов. Наличие сертифицированных педагогических тестов позволит организовать их распределение и будет способствовать формированию рынка тестовых услуг.

Вторая актуальная задача связана с подготовкой квалифицированных тестологов. С недавнего времени эта задача ста­ла государственной, и ее решение предла­гается введением в системе дополнитель­ного профессионального образования до­полнительной квалификации "тестолог".

Таким образом, можно констатировать, что педагогическое тестирование в России в настоящий исторический момент возрож­дено и переходит в стадию интенсивного развития. Специфика российских образова­тельных систем придает ему индивидуаль­ные черты, формирование которых позво­лит решить ряд важнейших педагогиче­ских проблем их интеграции в междуна­родные системы образования, реформиро­вания отечественной средней и высшей школы, а также развития научных основ педагогического тестирования.