Составление тестов и анализ тестовых результатов

Реферат по высшей математике, с применением анализа. Оценка отлично, Удмуртской гос. университет ...

Введение……………………………………………………………………3
Глава 1………………………………………………………………………6
§ 1. Тест как система заданий……………………………………………..6
§ 2. Критерии отбора материала для тестовых заданий…………………8
§ 3. Понятие эффективности теста…………………………………...….13
Глава 2…………………………………………………………………......15
§ 1. Проверка качества тестовых заданий……………………………….15
§ 2. Матрица результатов…………………………………………………15
§ 3. Работа с матрицей результатов……………………………………...17
§ 4. Современный подход к понятию "трудность"……………………...20
§ 5. Вариация, дисперсия баллов и дифференцирующая способность..23
§ 6. Статистические характеристики теста…………………………...…28
§ 7. Основные положения теории тестов………………………………..30
Заключение………………………………………………………………..35
Список использованной литературы……………………………………36

При изучении любой учебной дисциплины есть особенно важные темы, без знания которых невозможно усвоение более сложного материала в процессе учебы или которые будут необходимы в работе по специальности. Важность разделов курса можно учесть, увеличив долю вопросов по этим разделам в общем количестве вопросов. Однако наиболее важные разделы не всегда содержат больше всего материала.
При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного, сбалансированного инструмента оценки знаний. В первую очередь, необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, и т.д.
Важно выбирать наиболее приемлемую форму ответов на задания.
При создании тестов возникают определенные трудности в части формирова ния шкалы оценок выполнения заданий. Традиционная Российская система оценивания знаний обучаемых основана на лингвистических оценках, по которым проставляются записи в зачетных книжках за период обучения, производится учет успеваемости, устанавливается стипендия и т.д.
Очевидно, что при формировании такой шкалы оценок велика доля субъективизма, поскольку здесь многое зависит от опыта, интуиции, компетентности и профессионализма преподавателя. Кроме того, требования, предъявляемые разными преподавателями к уровню знаний студентов, колеблются в очень широких пределах.
При формировании шкалы оценок довольно часто встречается метод “проб и ошибок”. Поэтому реальные знания учащегося не получают объективного отражения и как негативное последствия - снижается стимулирующее воздействие экзаменационной оценки на познавательную деятельность и качество учебного процесса в целом.
В некоторых моделях тестирования оценивание результатов производится только по факту правильности ответа, т.е. ход решения в задачах не проверяется и не оценивается. Таковы, например, закрытые задания с однозначным числовым ответом или бинарные тесты.
Первичной информацией при тестировании знаний является набранный балл испытуемых или так называемый первичный балл. Достоинством этой оценки является ее простота и наглядность, Действительно, чем больше заданий выполнил испытуемый, тем выше его балл.
Однако проблема заключается в том, что первичный балл является не абсолютной, а относительной оценкой. Он существенно зависит от трудности заданий теста и на другом тесте он может оказаться иным, причем сама трудность теста в свою очередь определяется всем контингентом испытуемых. Желательно иметь объективную оценку уровня подготовленности испытуемых, подтверждаемую на различных тестах, имеющих заранее определенный уровень трудности заданий.
Вторым существенным недостатком первичных баллов является их нелинейность по отношению к тем параметрам, которые они должны характеризовать (уровень подготовленности). Сравнивая первичные баллы необходимо понимать, что первичные баллы являются лишь индикатором подготовленности испытуемых, а не ее мерой.
Любая информация для ее последующего применения в заданиях теста должна быть представлена определенным количественным показателем, рассчитанным с использованием условной единицы образовательной информации.
Преимуществом тестовых методов являются их:
1) высокая научная обоснованность самого теста, позволяющая получать объективированные оценки уровня подготовленности испытуемых;
2) технологичность тестовых методов;
3) точность измерений;
4) наличие одинаковых, для всех пользователей, правил проведения педагогического контроля и адекватной интерпретации тестовых результатов;
5) сочетаемость тестовой технологии с другими современными образовательными технологиями.
Предметом исследования являются способы и методы диагностики тестовых заданий по результатам тестирования.

Другое упорядочение проведено для заданий. На первом месте стоит самое легкое задание, по которому имеется наибольшее число правильных ответов, на втором - меньшее, и т. д., до последнего, у которого имеется всего один правильный ответ.
В табл. 2 приводятся и основные статистические данные, принимаемые во внимание на первом этапе эмпирической проверки качества заданий.
Вначале определяется мера трудности заданий. Известную трудность заданий, как первое требование к тестовым заданиям, можно образно сравнить с разновысокими барьерами на беговой дорожке стадиона, где каждый последующий барьер чуть выше предыдущего. Успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен.
Трудность задания может определяться двояко:
умозрительно, на основе предполагаемого числа и характераумственных операций, необходимых для успешного выполнения задания;
эмпирически, путем опробования задания, с подсчетом доли неправильных ответов по каждому из них.
Эмпирически трудность заданий определяется сложением элементов матрицы по столбцам, что указывает на число правильных ответов, полученных по каждому заданию (Rj). Чем больше правильных ответов на задание, тем оно легче для данной группы испытуемых.
Больше правильных ответов оказалось в первом задании (R1 = 12), что означает, что оно самое легкое в матрице.
В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться также и характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм.
В силу простоты показатель R, удобен, но до тех пор, пока не появляются другие группы испытуемых, с разным числом испытуемых (N). Поэтому для получения сопоставительных характеристик R, делят на число испытуемых в каждой группе.
pj= Rj / N     (2.1)
В результате получается нормированный (числом испытуемых) статистический показатель- доля правильных ответов, pj.
Значения pj приводятся в третьей строке нижней части таблицы 2. Статистика pj долго использовалась в качестве показателя трудности в так называемой классической теории тестов. Позже была осознана содержащаяся в ней смысловая неточность: ведь увеличение значения pj указывает не на возрастание трудности, а наоборот, на возрастание легкости, если можно применить такое слово.
Поэтому в последние годы с показателем трудности заданий стали ассоциировать противоположную статистику- долю неправильных ответов (qj). Эта доля вычисляется из отношения числa неправильных ответов (Wj - вторая строка нижней части таблицы) к числу испытуемых (N):
qj = Wj / N     (2.2)
Значения qj представлены в четвертой строке нижней части таблицы 2.2. Естественным образом принимается, что
pj + qj = l     (2.3)
Результаты сложения по строкам представлены в последнем столбце таблицы. Из последнего, одиннадцатого столбца таблицы видно, что больше правильных ответов у первого испытуемого, а меньше - у последнего. Это столбец представляет собой числовой вектор тестовых баллов испытуемых. Суммирование баллов всех испытуемых, представленных в таблице, дает число 65. Полезно посчитать средний арифметический тестовый балл в данной группе испытуемых
М = 65 / 13 = 5.0
Это равенство отражает сумму всех элементов матрицы тестовых заданий, но только для случаев, когда для получения Yi используются одинаковые весовые коэффициенты (Cj) значимости заданий в тесте, все равные, например, единице.
§ 4. Современный подход к понятию "трудность".
В современных технологиях адаптивного обучения и контроля используется другая мера трудности задания, равная ln qj / pj. Эту меру трудности, получаемую в шкале натуральных логарифмов, называют логит трудности задания. Симметрично введена и логарифмическая оценка уровня знаний, так называемый логит уровня знаний, равный ln pi / qi, где рi- доля правильных ответов испытуемого, рассчитываемая по формуле pi= Yi / k, в которой Yi означает число правильных ответов испытуемого i, а символ k означает общее число заданий.
Логарифмические оценки таких, казалось бы, реально несопоставимых феноменов как уровень знаний каждого испытуемого, с уровнем трудности каждого задания, привели к незамысловатой, внешне, попытке сравнить их посредством вычитания. Однако эффективность такого сравнения оказала огромное влияние на развитие зарубежной педагогической теории и практики.
Впервые появилась возможность непосредственного сопоставления любого множества заданий с любым числом испытуемых. ЭВМ сопоставляет логит задания и логит знаний и на этой основе подбирает очередное задание в системах адаптивного обучения и контроля знаний.
Требование известной трудности оказывается важнейшим системообразующим признаком тестового задания. Если тест - это система заданий возрастающей трудности, то в нем нет места заданиям без известной меры трудности.
§ 5. Вариация, дисперсия баллов и дифференцирующая способность.
Вариация баллов является третьим требованием к тестовым заданиям.
Если на какое-то задание правильно отвечают все тестируемые, то такое задание становится не тестовым. Испытуемые отвечали на него одинаково; между ними нет вариации. Соответственно, по данному заданию в матрице будут стоять одни единички.
Не тестовым надо считать и то задание, на которое нет ни одного правильного ответа; в матрице по нему ставят, соответственно, одни нули. Вариация по нему также равна нулю. Нулевая вариация означает практическую необходимость удаления задания из проектируемого теста. Оно, для данной группы, не тестовое. Возможно, в другой группе это задание заработает, но это будет задание уже другого, а не данного теста, если под тестом понимать метод и результат измерения знаний.
Удобной мерой вариации является значение дисперсии баллов, обозначаемой символом sj2. Для заданий, в которых используется только дихотомическая оценка (1 или 0), мера вариации определяется по сравнительно простой формуле:
sj2 = pj qj     (2.4)
Значения дисперсии по каждому заданию, рассчитанные по этой формуле, представлены в пятой строке нижней части таблицы 2.
Помимо вариации баллов в каждом задании считается вариация тестовых баллов испытуемых, набранных ими в тесте, по всем заданиям. Расчет показателей вариации тестовых баллов начинается с определения суммы квадратов отклонений значений баллов от среднего арифметического тестового балла (SSy), по формуле:
SSy= сумма(Yi - My)2     (2.5)
Для данных таблицы 2
SSy = [(9 - 5)2 + (8 - 5)2 + (7 - 5)2 + (6 - 5)2 + (6 - 5)2 + (5 - 5)2+ (5 - 5)2 + (5 - 5)2 + (4 - 5)2 + (4 - 5)2 + (3 -5)2+ (2-5)2+ (l-5)2=
42+ 32+ 22+ 12+ l2+ 02+ 02+ 02+ (-l)2+ (-l)2 + (-2)2+ (-3)2+ (-4)2= 62
У показателя SSy тоже есть недостаток, который заключается в его зависимости от числа испытуемых: при прочих равных условиях, чем больше группа, тем большей оказывается å(Yi - My)2, что делает этот показатель несопоставимым для групп с разным числом испытуемых. Поэтому для исправления отмеченного недостатка используют второй прием - делят SSy на число испытуемых в группе. В результате получается стандартный показатель вариации тестовых баллов, называемый дисперсией sy2 или, по-старому, вариансой.
Для тестовых баллов в столбце Yi табл.2 дисперсия вычисляется по формуле:
     (2.6)
При N, равном тринадцати испытуемым, дисперсия равна:
Для удобства в интерпретации тестовых результатов вместо дисперсии часто используется стандартное отклонение тестовых баллов от средней арифметической. Оно обозначается символом Sy и вычисляется как корень квадратный из значения sy2.
     (2.7)
Стандартное отклонение Sy является общепринятой мерой вариации тестовых баллов.
Подставляя наши данные, получаем
 
Дифференцирующая способность является четвертым требованием к тестовым заданиям.
Если на какое-то задание правильно отвечают все тестируемые, то такое задание не дифференцирует сильных от слабых и потому ему в тесте делать нечего. Нет в тесте места и тем заданиям, на которые нет ни одного правильного ответа; в матрице по ним ставят одни нули.
§ 6. Понятие корреляции.
Расчет классического коэффициента корреляции Пирсона.
Задание в тестовой форме нельзя называть тестовым, если оно не коррелирует с суммой баллов по всему тесту.
Коррелируемость задания с критерием (rxу) - представляет собой более точную и технологичную меру дифференцирующей способности задания. Коррелируемость проверяется посредством расчета коэффициента корреляции rjу, где символом r обозначается так называемый классический коэффициент корреляции Пирсона, или один из его вариантов.
Для расчета rxу формируется два вектор-столбца, один из которых - задание (Xj), другой - критерий (Y). Между значениями этих двух векторов и устанавливается мера связи, если таковая существует.
При проверке тестовых заданий в качестве критерия, для начала, используется сумма баллов испытуемых, полученная по всем заданиям пробного варианта теста. Символ j представляет номер коррелируемого задания, а символ Y- числовой вектор-столбец тестовых баллов испытуемых.
Формулы для расчета коэффициентов корреляции и примеры расчета даются ниже.
Для проверки, например меры связи ответов испытуемых по заданию № 7 (Х7) с суммой баллов тех же испытуемых по всему тесту, строится вспомогательная таблица 3, в которой использованы соответствующие данные таблицы 2.
Табл.3. Пример расчета коэффициента корреляции
X7
Yi
X7Yi
X2
Yi2
1
9
9
1
81
1
8
8
1
64
1
7
7
1
49
6
36
6
36
1
5
5
1
25
1
5
5
1
25
5
25
4
16
4
16
3
9
2
4
1
1
В первой колонке приводятся значения баллов, полученных испытуемыми в седьмом задании. Сумма этих баллов равна 5, или сумма Х7 = 5. Во второй колонке представлены тестовые баллы (Yi); сумма Yi = 65.
В третьей колонке даются произведения баллов каждого испытуемого по седьмому заданию (Х7) и по сумме баллов (Y); сумма Х7Y = 34.
В четвертой и пятой колонках - квадраты значений Х7 и Y; Соответственно, сумма Х72 = 5 и сумма Y2 = 387.
Для расчета коэффициента корреляции используются четыре формулы:
1. Вначале находится сумма квадратов отклонений баллов испытуемых от среднего арифметического балла в интересующем задании (SS по заданию Х7).
2. Затем находится сумма квадратов отклонений тестовых баллов испытуемых от среднего арифметического балла по всему тесту (SSy). Подставляя известные данные, получаем
3. Находится так называемая скорректированная, на средние значения, сумма попарных произведений Х и Y, по формуле:
 
В этой формуле сумма XY представляет собой сумму произведений баллов каждого испытуемого по седьмому заданию и по Y, тестовому баллу испытуемых.
Вторая часть формулы представляет собой коррекцию на средние значения произведений Хi на Yi.
4. Рассчитывается классический коэффициент корреляции:
     (2.8)
Подставляя в эту формулу результаты проведенных расчетов, получаем:
 
Чем выше значения r, тем больше вероятность превращения задания в тестовой форме в тестовое задание, то есть быть включенным в тест. Особенно заметно эта вероятность повышается при г > 0,4.
Если взять значение r2 * 100%, то получим значение так называемого коэффициента детерминации, выраженного в удобной для интерпретации процентной мере связи задания с суммой баллов.
Для взятого примера коэффициент детерминации у седьмого задания равен
0,6522 * 100% = 42,5 %,
что можно интерпретировать так: 42,5% вариации суммы тестовых баллов испытуемых по всем заданиям связано с вариацией баллов по одному только седьмому заданию, что указывает на очень высокий потенциальный вклад седьмого задания в общую дисперсию теста.
Нулевая корреляция свидетельствует об отсутствии у задания системных свойств, присущих тесту. Такие задания, равно как и задания с отрицательными значениями rxy устраняются из тестовых материалов, как не выдержавшие эмпирической проверки.
Иногда приходится рассматривать особые случаи возможности включения заданий в тест, хорошо коррелирующих с другими заданиями, но слабо или вообще не коррелирующих с суммой баллов (или внешним критерием).
Расчет коэффициента корреляции.
При наличии больших выборочных совокупностей и так называемого нормального распределения баллов по всему тесту теоретически предпочтительнее рассчитывать другой вариант коэффициента корреляции Пирсона, который называется, коэффициентом корреляции
     (2.9)
где Mi- среднее арифметическое по всему тесту для испытуемых, получивших по данному заданию один балл;
M2- среднее арифметическое по всему тесту для испытуемых, получивших по данному заданию ноль баллов;
n1 - число испытуемых, получивших в задании один балл;
n0 - число испытуемых, получивших в задании ноль баллов.
При использовании данной формулы из таблицы 2.3 используются следующие данные:
Один балл по седьмому заданию получили 1, 2, 3, 6 и 7 испытуемые. Сложение полученных ими баллов по Y дает
9+ 8+ 7+ 5+ 5= 34;
среднее арифметическое Mi = 34 / 5 = 6,800.
Ноль баллов по этому же заданию получили 4, 5, 8, 9, 10, 11, 12, и 13 испытуемые. Сложение полученных ими баллов по Y дает
6+ 6+ 5+ 4+ 4+ 3+ 2+ 1= 31;
среднее арифметическое Мо = 31/8 = 3,875,
При n1= 5, n0= 8; n= 13, подстановка полученных данных в формулу 2.9 даёт
Сравнение rрb = 0,651 и полученного ранее по формуле (2.8) rху = 0,652 подтверждает сходство полученных значений и практическую достаточность использования любой одной из этих формул.
Анализу тестовых свойств задания очень способствует расчет полной корреляционной матрицы, в которой представляются корреляции каждого задания со всеми остальными заданиями, а также корреляции с суммой баллов. Пример такой матрицы расчета классических коэффициентов корреляции Пирсона приводится в табл. 4.
Табл. 4. Корреляционная матрица по данным таблицы 1.
 
1
2
3
4
5
6
7
8
9
10
ryj
1
1.000
-0.1231
0.3651
0.3118
0.2673
0.2673
0.2282
-0.4330
0.1581
-0.6770
0.2484
2
-0.1231
1.0000
0.1011
0.4606
-0.0329
-0.0329
0.3371
0.2843
0.2335
0.1818
0.4623
3
0.3651
0.1011
1.0000
0.2196
0.0976
0.4148
-0.0250
-0.1581
0.0577
0.1409
-0.4606
4
0.3181
0.4606
0.2196
1.0000
0.2381
0.2381
0.4148
-0.0514
0.1409
-0.4606
0.5205
5
0.2673
-0.0329
0.0976
0.2381
1.0000
0.3810
0.2196
0.0514
0.2254
0.0329
0.5152
6
0.2673
-0.0329
0.4148
0.2381
0.3810
1.0000
0.2196
0.3858
0.5916
0.0329
0.7223
7
0.2282
0.3371
-0.0250
0.4148
0.2196
0.2196
1.0000
0.1581
0.6928
0.1011
0.6640
8
-0.4330
0.2843
-0.1581
-0.0514
0.0514
0.3858
0.1581
1.0000
0.4260
0.6396
0.4704
9
0.1581
0.2335
0.0577
0.0577
0.2254
0.5916
0.6928
0.4260
1.0000
0.2725
0.7541
10
-0.6770
0.1818
-0.1011
-0.4606
0.0329
0.0329
0.1011
0.6396
0.2725
1.0000
0.2055
Y
0.2484
0.4623
0.3973
0.5205
0.5152
0.7223
0.6640
0.4704
0.7541
0.2055
1.0000
 
В этой матрице внимание разработчика теста в первую очередь направляется на значения корреляций заданий с суммой баллов (последний столбец) и на суммы в последней строке rjy.
При прочих равных условиях, в тест скорее попадут те задания, у которых корреляция с суммой баллов будет выше. В нашем случае, вряд ли является тестовым первое задание, имеющего невысокую связь с суммой баллов - всего 0,2484.
Кроме того, обращается внимание на интеркорреляции, т.е., на корреляции заданий между собой внутри теста. Встречается немало отрицательных корреляций, что указывает на разнонаправленность вариации баллов: единицы по одному заданию сопутствуют нулям по другому заданию.
Расчетом корреляционной матрицы заканчивается первый этап разработки тестовых заданий. После этого начинается работа над созданием первого варианта теста.
§ 6. Статистические характеристики теста.
Как результат измерения, традиционный тест характеризуется рядом статистических показателей.
Исходные тестовые баллы полезно сгруппировать. Результаты можно представить в виде гистограммы. На этой же гистограмме представлена кривая нормального распределения, показывающая идеально требуемое распределение тестовых результатов.
Чем лучше сделан тест и чем больше испытуемых, тем больше реальное распределение баллов, представляемое гистограммой, начинает приобретать форму распределения, изображаемого данной кривой.
Иногда, помимо ранее рассчитанного среднего арифметического значения, разработчика теста интересует наиболее повторяющееся значение, называемое в статистике модой (Мо).
Для данных приведенного примера, чаще других повторяется, у трех испытуемых, балл 5; следовательно, Мо = 5.
Если расставить в один ряд, по порядку значений, всех испытуемых, и посмотреть чему равняется балл у испытуемого, находящегося посредине, им окажется седьмой, по счету испытуемый с тестовым баллом 5. Это значение принимают равным медиане (Me).
В нашем примере значения средней арифметической (М), моды (Мо) и медианы (Me) совпадают, что случается довольно редко, только в случаях строго симметричного распределения эмпирических данных; чем больше отличаются эти статистики одна от другой, тем больше данные отклоняются от нормального распределения.
В связи с тем, что у разных испытуемых баллы различаются, можно говорить о вариации тестовых результатов. Отсутствие вариации свидетельствует либо об одинаковости испытуемых, либо о несостоятельности оценки, но скорее о втором.
Например, при использовании пятибалльной шкалы на приемных экзаменах в вузе абитуриенты получают совпадающие оценки (сотни троек), хотя ясно, что некоторые по знаниям ближе к четверке, а некоторые - к двойке.
Пятибалльная шкала, в силу ее грубости и субъективности, снижает вариацию там, где она в действительности есть, в то время как применение теста заметно повышает вариацию.
§ 7. Основные положения теории тестов.
Иногда вариацию тестовых результатов полезно называть наблюдаемой переменной величиной. Это связано с тем, что в теории тестов центральное место занимает концепция латентной, непосредственно не наблюдаемой переменной величины. В соответствии с этой концепцией, посредством наблюдаемой переменной величины можно получить только приближенные значения ненаблюдаемых истинных баллов испытуемых.
Понятие точности измерения вытекает из философского постулата о неизбежной погрешности измерения: измеряемое значение (X) не равно истинному (Т). Следовательно, любой тестовый балл можно представить как сумму истинного и ошибочного компонентов измерения.
Первое основное положение классической теории тестов лучше выразить символически:
Х= Т+ Е,     (2.10)
где Е - символизирует некоторую ошибку (или точнее, ошибки измерения, проистекающие по различным причинам). Знак суммирования указывает на так называемый аддитивный способ связи T и Е.
Ошибка измерения Е имеет два истолкования- физическое и статистическое.
При физическом истолковании измерение тем точнее, чем меньше ошибок измерения.
Статистическое истолкование ошибки измерений знаний дополняет физическое идеей соотношения объема выборочной совокупности ответов с потенциальной генеральной совокупностью всех заданий теста, необходимых для точного тестирования по данной учебной дисциплине; чем точнее выборочная оценка, тем надежнее считаются тестовые результаты.
Погрешность может оказаться случайной или систематической. Последнюю можно учесть, в случае необходимости, в виде поправок, и потому для теории тестов они не представляют интереса.
Другое дело - случайные ошибки, вызванные состоянием испытуемого, случайное изменение некоторых условий проведения теста, различиями в наборах тех или иных заданий, предлагаемых различным испытуемым и многое другое. Взятые вместе, они рассматриваются как случайная ошибка измерения, хотя слово "ошибка" при этом надо трактовать не в привычном смысле допущенной (а потому и легко устранимой) оплошности, а в смысле неизбежной погрешности, определяемой неконтролируемыми факторами.
Здравый смысл подсказывает, что судить о знаниях всего проверяемого материала по ответу испытуемого на одно лишь задание довольно опрометчиво, хотя в каждой учебной дисциплине есть вопросы, правильные ответы на которые говорят о многом. Тем не менее, обоснованные выводы можно делать только по результатам применения достаточного числа заданий. Это происходит из-за того, что дисперсия истинных компонентов измерения возрастает как квадрат от числа k, показывающего - во сколько раз возросло число эквивалентных заданий теста, в то время как дисперсия ошибочных компонентов измерения меняется линейно от k.
Второе основное положение классической теории надежности - истинные компоненты (t) не коррелируют с ошибочными (е) компонентами измерения (rte = 0).
Если обнаружится, что высоким значениям тестовых баллов соответствуют и более высокие значения ошибок, с определенным знаком, то ясно, что такие ошибки нельзя считать случайными.