Аннотация
Настоящий реферат содержит результаты анализа методов и моделей интеллектуального контроля знаний с применением средств вычис лительной техники, существующих на данный момент в области образования. Также рассказывается о новых разработках в этой области и собственных м ыслях автора. Узловыми вопросами работы является обзор имеющихся средс тв автоматизации контроля знаний и тестирования, теоретические разраб отки различных авторов, методы построения интеллектуальных систем кон троля, модели оценивания знаний.
Содержание
Введе ние 5
1. Контроль и тестирование 7
1.1 Функции к онтроля 7
1.1.1 Контроли рующая функция 7
1.1.2 Обучающа я функция 7
1.1.3 Диагност ическая функция 8
1.1.4 Прогност ическая функция 8
1.1.5 Развиваю щая функция 8
1.1.6 Ориентир ующая функция 9
1.1.7 Воспиты вающая функция 9
1.2 Методы ко нтроля 9
1.2.1 Устная п роверка 9
1.2.2 Проверка письменно – графических работ 11
1.2.3 Проверка практических и лабораторных работ 12
1.3 Средства контроля 12
1.3.1 Безмашин ные средства контроля 12
1.3.1.1 Проверк а домашнего задания 12
1.3.1.2. Диктант 13
1.3.1.3 Организ ация самостоятельных работ 13
1.3.1.4. Организ ация контрольных работ 13
1.3.2 Машинные средства проверки 14
1.4 Компьюте рное тестирование 14
2. Интеллек туальное тестирование 19
2.1 Методы и модели 20
2.1.1 Модели р аспознавания образа уровня знаний 20
2.1.2 Предметн о - критериальная методика составления тестов 22
2.1.3 Метод оп ределения количества образовательной информации 24
2.1.4 Информац ионно-генетические алгоритмы 26
2.1.5 Модель Р аша 28
2.1.6 Абсолютн ая временная шкала измерения знаний 31
2.1.7 Методика статистического анализа качества обучения 32
2.1.8 Модель а даптивного тестового контроля 34
2.1.9 Концепту альная модель адаптивного тестового контроля знаний 36
2.1.9.1 Блок цел ей обучения 36
2.1.9.2 Блок сод ержания 36
2.1.9.3 Блок изм ерения 37
2.1.9.4 Блок ада птивного обучения 39
2.1.9.5 Блок сис темы мониторинга. 42
2.1.10 Техноло гия рейтинговых исследований качества образования с применением нейро нных сетей 42
2.2 Собствен ные разработки 45
2.2.1 Тестиров ание по методу цепочек вопросов 45
2.2.2 Автомати зированный контроль знаний по методике уточняющих вопросов 46
2.2.4 Алгоритм ы прямого тестирования в интеллектуальной автоматизированной системе контроля знаний 48
2.2.5 Метод ад аптивного автоматизированного тестирования знаний 50
Заключени е 52
Список исп ользованной литературы 54
Введен ие
В последние годы в России в сфере образования наблюдается стремительное усиление интереса к автоматизации промежуточного и фин ального контроля результатов обучения учащихся самых различных учебны х заведений, начиная от школ и заканчивая коммерческими курсами. Самым п опулярным видом такого контроля является тестирование, основанное на д иалоге вычислительной системы с пользователем. Стремительный рост быс тродействия компьютерных систем, уменьшение цен на вычислительную тех нику, появление качественных и мощных систем программирования увеличи ло потребность в системах, позволяющих объективно, быстро и надежно оцен ивать знания учащихся, предлагая интересные формы взаимодействия с ним и.
Но вопрос создания таких систем является не однозначным, и авторы сущест вующих разработок иногда отходят от педагогической и психологической стороны вопроса, пытаясь максимально увеличить привлекательность свои х программных продуктов за счет средств мультимедиа. Иногда программис ты просто игнорируют процесс взаимодействия с непосредственно носител ями знаний (преподавателями), что отражается на существующих приложения х. Очень часто сами преподаватели не владеют в должной мере методами оце нки качества создаваемых тестов (будем говорить о тестировании).
Необходимо отметить, что первые концепции компьютеризации обучения во зникли более 30 лет назад под лозунгом “техническое перевооружение педаг ога, механизация его труда”, “обучающей машины”, имитирующей процесс инд ивидуальной работы преподавателя с обучаемым. Со временем росло понима ние их ограниченности. Определенное распространение получили попытки использовать в учебном процессе системы искусственного интеллекта [1] . Именно применение методов искусств енного интеллекта и инженерии знаний, на мой взгляд, поможет превозмочь субъективность и прямолинейность процесса тестирования, поднимая уров ень оценивания знаний машинными системами. Дело в том, что применение тр адиционных методов компьютерного обучения и контроля (прямое тестиров ание, бальная система, и т.д.) неприемлемо: для того, чтобы оценить знания об учаемого, преподавателю приходится переработать огромное количество и нформации, и процесс взаимодействия оценивающего и оцениваемого не под дается строгой формализации, поэтому три основные алгоритмические стр уктуры (последовательная, ветвление, цикл) при реализации машинных систе м не смогут описать в полной мере данную предметную область. Т.е. осуществ ление автоматизированного контроля знаний, умений обучаемых, в первую о чередь, включает решение проблемы определения совокупности требуемых качеств знаний, без которых критерии оценки знаний и способы определени я уровня их усвоения выявить нельзя.
Автор в данной работе попытался показать некоторые существующие метод ы и модели интеллектуального тестирования (см. 2), описать и оценить качест во существующих систем контроля, выдвинуть собственные идеи.
1. Контроль и тестиров ание
Основная цель контроля знаний и умений состоит в обнаружении д остижений, успехов учащихся, в указании путей совершенствования, углубл ения знаний, умений, с тем, чтобы создавались условия для последующего вк лючения учащихся в активную творческую деятельность. Эта цель в первую о чередь связана с определением качества усвоения учащимися учебного ма териала – уровня овладения знаниями, умениями и навыками предусмотрен ных программой. Во – вторых, конкретизация основной цели контроля связа на с обучением приемам взаимоконтроля и самоконтроля, формированием по требности в самоконтроле и взаимоконтроле.
В - третьих эта цель предполагает воспитание у учащихся таких качеств ли чности, как ответственность за выполненную работу, проявление инициати вы.
Если перечисленные цели контроля знаний и умений учащихся реализовать, то можно говорить о том, что контроль выполняет следующие ф ункции: контролирующую, обучающую (образовательную), диагностическую, пр огностическую, развивающую, ориентирующую, воспитывающую [3] . Рассмотрим эти функции более подробно.
1.1 Функции контроля
1.1.1 Контролирующая функция
Контролирующая функция состоит в выявлении состояния знаний и умений учащихся, уровня их умственного развития, в изучении степени ус воения приемов познавательной деятельности, навыков рационального уче бного труда.
При помощи контроля определяется исходный уровень для дальне йшего овладения знаниями, умениями и навыками, изучается глубина и объем их усвоения. Сравнивается планируемое с действительными результатами, устанавливается эффективность используемых преподавателем методов, ф орм и средств обучения.
1.1.2 Обучающая функци я
Обучающая функция контроля заключается в совершенствовании з наний и умений, их систематизации. В процессе проверки учащиеся повторяю т и закрепляют изученный материал. Они не только воспроизводят ранее изу ченное, но и применяют знания и умения в новой ситуации. Проверка помогае т выделить главное, основное в изучаемом материале, сделать проверяемые знания и умения более ясными и точными. Контроль способствует также обоб щению и систематизации знаний.
1.1.3 Диагностическая функция
Сущность диагностической функции контроля – в получении инф ормации об ошибках, недочетах и пробелах в знаниях и умениях учащихся и п орождающих их причинах затруднений учащихся в овладении учебным матер иалом, о числе, характере ошибок. Результаты диагностических проверок по могают выбрать наиболее интенсивную методику обучения, а также уточнит ь направление дальнейшего совершенствования содержания методов и сред ств обучения.
1.1.4 Прогностическая функция
Прогностическая функция проверки служит получению опережающ ей информации об учебно-воспитательном процессе. В результате проверки получают основания для прогноза о ходе определенного отрезка учебного процесса: достаточно ли сформированы конкретные знания, умения и навыки для усвоения последующей порции учебного материала (раздела, темы).
Результаты прогноза используют для создания модели дальнейшего поведе ния учащегося, допускающего сегодня ошибки данного типа или имеющего оп ределенные пробелы в системе приемов познавательной деятельности.
Прогноз помогает получить верные выводы для дальнейшего планирования и осуществления учебного процесса.
1.1.5 Развивающая функ ция
Развивающая функция контроля состоит в стимулировании познав ательной активности учащихся, в развитии их творческих способностей. Ко нтроль обладает исключительными возможностями в развитии учащихся. В п роцессе контроля развиваются речь, память, внимание, воображение, воля и мышление школьников. Контроль оказывает большое влияние на развитие и п роявление таких качеств личности, как способности, склонности, интересы , потребности.
1.1.6 Ориентирующая фу нкция
Сущность ориентирующей функции контроля - в получении информа ции о степени достижения цели обучения отдельным учеником и группой в це лом – насколько усвоен и как глубоко изучен учебный материал. Контроль ориентирует учащихся в их затруднениях и достижениях.
Вскрывая пробелы, ошибки и недочеты учащихся, он указывает им направлени я приложения сил по совершенствованию знаний и умений. Контроль помогае т учащемуся лучше узнать самого себя, оценить свои знания и возможности.
1.1.7 Воспитывающая функция
Воспитывающая функция контроля состоит в воспитании у учащих ся ответственного отношения к учению, дисциплины, аккуратности, честнос ти. Проверка побуждает более серьезно и регулярно контролировать себя п ри выполнении заданий. Она является условием воспитания твердой воли, на стойчивости, привычки к регулярному труду [3] .
Выделение функции контроля подчеркивает его роль и значени е в процессе обучения. В учебном процессе сами функции проявляются в раз ной степени и различных сочетаниях. Реализация выделенных функций на пр актике делает контроль более эффективным, а также эффективней становит ся и сам учебный процесс.
Итак, контроль знаний является неотъемлемой частью учебного процесса. С уществует несколько методов контроля, рассмотрим основные из них.
1.2 Методы контроля
1.2.1 Устная проверка
Устная проверка организуется по-разному, в зависимости от ее це ли и от содержания проверяемого материала. Среди целевых установок пров ерки можно выделить следующие: проверить выполнение домашнего задания, выявить подготовленность учащихся к изучению нового материала, провер ить степень понимания и усвоения новых знаний. В зависимости от содержан ия она проводится по материалу предшествующего урока или по отдельным р азделам и темам курса.
Методика устной проверки включает в себя две основные части:
· составление проверочных вопро сов и их задание;
· ответ учащихся на поставленные вопр осы.
Составление провероч ных вопросов и заданий - важный элемент устной проверки. Качество вопрос ов определяется их содержанием, характером выполняемых учащимися при о твете на вопросы умственных действий, а также словесной формулировкой.
При составлении вопросов всегда исходят из того, что проверять следует т е знания, которые являются основными в данном курсе или относительно тру дно усваиваются учащимися или которые необходимы для успешного усвоен ия дальнейших разделов и тем курса. На подбор вопросов оказывает влияние вид проверки: для уточнения содержания вопросов для текущей проверки не обходим анализ связей изучаемого материала с ранее пройденным, а для тем атической и итоговой проверки - выделение ведущих знаний и способов опер ирования ими. Причем устную проверку считают эффективной, если она напра влена на выявление осмысленности восприятия знаний и осознанности их и спользования, если она стимулирует самостоятельность и творческую акт ивность учащихся.
Качество вопросов определяется характером умственных действий, которы е выполняют учащиеся при ответе на вопрос. Поэтому среди проверочных зад аний выделяют вопросы, активизирующие память (на воспроизведение изуче нного), мышление (на сравнение, доказательство, обобщение), речь. Большое з начение имеют проблемные вопросы, которые заставляют применять получе нные знания в практической деятельности.
Качество устной проверки зависит от подбора, последовательности и пост ановки вопросов, которые предлагаются, во-первых, каждый вопрос должен б ыть целенаправленным и логически завершенным, а, во-вторых, должен быть п редельно сжатым, лаконичным и точным.
Второй составной частью устной проверки является ответ учащегося на во просы. В дидактической литературе выделяются два условия качественног о выявления знаний учащегося:
· ученику никто не мешает (препод аватель и аудитория комментируют ответ потом);
· создается обстановка, которая обесп ечивает наилучшую работу его интеллектуальных сил.
Прерывать ученика мож но только в том случае, если он не отвечает на вопрос, а уклоняется в сторо ну. При оценке ответа ученика обращают внимание на правильность и полнот у ответа, последовательность изложения, качество речи.
Приемы устной проверки используются на различных этапах урок а. Выбор тех или иных приемов во многом предопределяется целью и логикой урока.
1.2.2 Проверка письменно – графических ра бот
Вторым широко применяемым методом контроля в обучении являет ся проверка письменно - графических работ. Этот метод имеет свои качеств енные особенности: большая объективность по сравнению с устной проверк ой, охват нужного числа проверяемых, экономия времени. Применение письме нных работ используется для:
· пр оверки знания теоретического материала;
· умения применять его к решению задач;
· контроля сформированных навыков.
В методике письменно – графических работ выделяют четыре основных этапа, которым надо уделя ть внимание, это подготовка, организация, проведение, анализ результатов .
При подготовке нужно: вычленить цель проверки, отобрать содержание объектов проверки, состав ить проверочные задания. Большую помощь при этом оказывают учебно – мет одические пособия, образцы проверочных работ в журналах.
При организации проверочной работы учащимся сообщается, какие задания им предназначены, как озаглавить работу, как оформить решение, время вып олнения работы. При этом следить за самостоятельностью выполнения рабо ты каждым учеником.
Анализ ответов учащихся эффективен тогда, когда он проводится по определенным схемам (схемам поэлементного анализа). Тщательно провед енный анализ позволяет глубоко изучить пробелы и достижения отдельных учеников, выделить типичные ошибки и основные затруднения учащихся, изу чить причины их появления и наметить пути их устранения.
1.2.3 Проверка практических и лабораторны х работ
С помощью этого метода получают данные об умении учащихся прим енять полученные знания при решении практических задач, пользоваться р азличными таблицами, формулами, чертежными и измерительными инструмен тами, приборами.
Преподаватель получает отчет ученика, в котором приводится то лько результат или схематически описаны план практической работы и ее р езультаты. Это несколько затрудняет проверку и оценку каждого действия ученика. Поэтому на практике в проверочном задании приводится алгоритм его выполнения, что позволяет осуществить такую проверку правильности действий ученика. Все работы проверяются, но оцениваются по-разному, по р езультатам обзорных работ оценки выставляются, по результатам трениро вочных работ можно выставить лишь положительные оценки.
Таким образом, несколько методов контроля, удачно подобранных преподав ателем в своей образовательной деятельности, позволят достаточно объе ктивно оценить знания учащихся, проконтролировать то, что было изучено и сделано за определенный период. Средства, применяемые преподавателями в своей практике, очень различны.
1.3 Средства контрол я
В настоящее время создаются и распространяются такие средств а, которые не требуют больших затрат времени на подготовку, проведение и обработку результатов. Среди них выделяют машинные и безмашинные средс тва проверки.
1.3.1 Безмашинные средства контроля
Среди безмашинных средств проверки наиболее распространены в практике устный опрос учащихся у доски, проверка учителем тетрадей с до машним заданием, диктант, самостоятельная и контрольная работы.
1.3.1.1 Проверка домашнего задания
Роль домашних заданий практически обесценивается, если не нал ажена их проверка. Преподаватели практикуют разные формы учета. Это и ус тный опрос у доски или с места по домашнему заданию, и короткая письменна я работа, но, прежде всего это непосредственная проверка задания в тетра дях – фронтальная при обходе класса в начале и более основательная, выб орочная во внеурочное время.
Также существует самопроверка по образцу и применяется на пер вом уроке после объяснения нового материала. Образец решения домашней р аботы записан на доске заранее. Учащиеся рассматривают решение образец и устно комментируют его, тетради у всех закрыты. Затем открываются тетр ади и проверяются свои работы по образцу, подчеркивая ошибки. Этот спосо б развивает внимание и выявляет ошибки с помощью образца.
Взаимопроверка с помощью образца используется на следующем у роке. В этом случае учащиеся проверяют домашнюю работу своего соседа тож е по образцу. Как и в первом случае, окончательно тетради проверяет препо даватель.
1.3.1.2. Диктант
Диктант может заменить опрос по теме, заданной для повторения. Его продолжительность обычно 10-20 минут. Он представляет собой систему воп росов, связанных между собой.
1.3.1.3 Организация самостоятельных ра бот
При изучении важно, чтобы учащиеся не только знали теоретическ ий материал, но и умели применять его к решению задач и упражнений, облада ли бы рядом навыков (вычислительными навыками, умениями преобразовыват ь выражения и т.д.). Эти умения и навыки могут быть по настоящему проверены только в письменной работе. Обычно самостоятельные работы проводятся п осле коллективного решения задач новой темы и предшествуют контрольно й работе по этой теме.
1.3.1.4. Организация контрольных работ
Контрольная работа может быть кратковременной и долговременн ой.
1. Перед проведением контрольной работы необходимо определить объект контроля , цель предстоящей работы и средства контроля. Они должны быть сообщены у чащимся;
2. В зависимости от вида заданий нужно пр одумать, каким образом ученик должен их оформить;
3. Учитель должен продумать что он отнес ет к недочетам, а что к ошибкам, из этого будет складываться оценка. Критер ии оценки хотя бы в общих чертах должны быть известны учащимся;
4. Контрольная работа должна быть посиль ной для всех учащихся без исключения. Сильным ученикам нужно дать задани я труднее;
5. Каждой контрольной работе должна пред шествовать самостоятельная работа с аналогичными упражнениями;
6. Анализ контрольной работы необходимо проводить сразу, для этого необходимо завершать работу за несколько мин ут до окончания. Желательно фрагменты решения разобрать сразу после нап исания работы, потому что на следующий день или позже учащиеся уже теряю т интерес к содержанию работы и многие интересуются только оценкой;
7. Обязательно нужно проводить количест венный и качественный анализ контрольной работы.
1.3.2 Машинные средства проверки
Для контроля знаний учащихся используют персональный компьют ер. Д ля контроля знаний учащихся удобн о применять типовые расчеты, которые включают наиболее характерные зад ания базового курса [3].
В дальнейшем будем говорить о машинных средствах контроля знаний, и, в ча стности, о тестировании с применением средств вычислительной техники.
1.4 Компьютерное тестирован ие
Идея компьютерного тестирования напрямую проистекает от идеи п рограммированного контроля знаний. Программированный контроль знаний , в свою очередь, явился неизбежной реакцией на некоторые проблемы прежд е всего высшего образования в России. Собственно, примерно те же проблем ы распространяются и на школьное образование, но последнее, в силу тради ционной косности, очень слабо восприимчиво к новым технологиям.
Основной проблемой любого образования (и не только российског о, кстати), является отсутствие четкого контроля за качеством усвоения м атериала. Причем если в школьной практике учитель еще более-менее имеет возможность с определенной периодичностью проверять уровень текущих з наний ученика, то в ВУЗе преподаватель целый семестр выдает материал и л ишь в конце семестра убеждается в уровне его усвоения. Само собой, в систе ме высшего образования подразумевается, что студенты должны в достаточ ной степени заниматься и самостоятельным образованием, однако, это пред полагаемое самостоятельное получение знаний остается целиком и полнос тью на совести студента, и преподаватель абсолютно не может знать, кто им енно из студентов хоть что-то делает самостоятельно. С получением больши м числом обучаемых доступа в Internet положение усугубилось еще и тем, что тепе рь даже сдача рефератов не подразумевает абсолютно никакой работы с инф ормацией; частенько студенты даже не считают нужным целиком прочесть то , что распечатывают из Сети [4 ].
Необходимость систематического контроля за усвоением материа ла сомнений не вызывает. Прежде всего это давало бы экономию времени пре подавателя, который при отсутствии обратной связи вынужден или повторя ть положения, которые студентами давно усвоены, или излагать положения, основанные на фактах, плохо усвоенных студентами. Во вторую очередь, сис тематический контроль за уровнем знаний учащихся стимулирует повышени е качества обучения за счет усиления акцента на трудных для усвоения пол ожениях и повышения ответственности обучаемых за результаты самостоят ельной работы (в случае, естественно, когда преподаватель в этом заинтер есован).
Важным моментом систематического программированного контро ля знаний является его объективность, что обусловлено переносом акцент а с карательной функции на информативную. Только в таком случае учащийся не будет бояться контроля и изобретать способы получения повышенной оц енки, и только в таком случае преподаватель будет получать реальную карт ину знаний учащегося.
Технически программированный контроль знаний прост - учащимся выдаетс я некий бумажный носитель (расцвет программированного контроля вызвал к жизни релейно-ламповых "электронных" монстров, которые по сей день можн о видеть на экзаменах по сдаче на водительские права), на котором записан ы вопросы и варианты ответов, один (или несколько) из которых являются пра вильными. Учащемуся остается лишь расставить крестики против правильн ых ответов.
Подобная технология позволила совершить качественный скачок в осущест влении обратной связи между преподавателем и студентом. Программирова нный контроль, состоящий из 8-10 вопросов, проводится за очень короткий сро к - от 5 до 10 минут, и при этом преподаватель может получить полноценную инфо рмацию об усвоении пройденного материала всей учебной группой одновре менно. Кроме того, техническая реализация программированного контроля позволила полностью избежать списывания, давая возможность предложить каждому учащемуся свой вариант программированной карты.
Недостатком программированного контроля в его до-компьютерном виде яв лялась высокая трудоемкость создания программированных карт, которые ( в идеале) требовались на каждое занятие, и сложность их последующей обра ботки. С появлением компьютерных технологий у преподавателей появилас ь возможность резко снизить трудоемкость и подготовки контроля, и обраб отки результатов.
Выделяют пять общих требований к тестам:
· ва лидность;
· определенность (общепонятность);
· простота;
· однозначность;
· надежность.
Валидность теста – это адекватность. Различают содержательную и функци ональную валидность: первая – это соответствие теста содержанию контр олируемого учебного материала, вторая – соответствие теста оцениваем ому уровню деятельности.
Выполнение требования определенности (общедоступнос ти) теста необходимо не только для понимания каждым учен иком того, что он должен выполнить, но и для исключения правильных ответо в, отличающихся от эталона.
Требование простоты теста означает, ч то тест должен иметь одно задание одного уровня, т.е. не должен быть компле ксным и состоять из нескольких заданий разного уровня. Необходимо отлич ать понятие “комплексный тест” от понятия “трудный тест”. Трудность тес та принято характеризовать числом операций P , которое надо выполнить в тесте: P < 3 – первая группа трудности; P = 3-10 – вторая группа трудности. Не следует также смешивать понятия простоты-комплексности и легкости-трудности с понятием сложности.
Однозначность определяют как одинак овость оценки качества выполнения теста разными экспертами. Для выполн ения этого требования тест должен иметь эталон. Для измерения степени пр авильности используют коэффициент K = P 1 / P 2 , где P 1 – количество правильно выполненных существенных опер аций в тесте или батарее тестов; P 1 – общее количество существенных операций в тес те или батарее тестов. Существенными считают те операции в тесте, которы е выполняются на проверяемом уровне усвоения. Операции, принадлежащие к более низкому уровню в число существенных не входят. При K 0.7 считают, что деятел ьность на данном уровне усвоена.
Понятие надежности тестирования опр еделяют как вероятность правильного измерения величины K . Кол ичественный показатель надежности r [0, 1]. Тр ебование надежности заключается в обеспечении устойчивости результат ов многократного тестирования одного и того же испытуемого. Надежность теста или батареи тестов растет с увеличением количества существенных операций P [5] .
Итак, при реализации систем компьютерного тестирования необх одимо, на мой взгляд, придерживаться именно этих пяти требований к созда ваемым тестам. Но проблема компьютерного тестирования стоит намного ос трее. Реализация в системах тестирования описанных выше пяти требовани я к тестам не означает того, что созданный комплекс будет отвечать всем т ребованиям преподавателя и учащегося.
Большинство программных продуктов не дают возможности преп одавателю и студенту, учителю и ученику отойти в реальном учебном процес се от традиционных методик: лекционного курса, конспекта, очного контрол я знаний, контрольных работ, зачетов, экзаменов. Недостаток этот можно оп ределить следующим: компьютерный курс является авторским по определен ию, и поэтому обеспечивает высокое качество образования только при соот ветствующем сопровождении автором (который, в большинстве случаев, не обладает достаточными знаниями в области информационных технологий). Х отя отдельные компоненты компьютерного обучающего, контролирующего и ли обучающе - контролирующего курса могут использоваться как независим ые учебные модули другими преподавателями (а также и при самостоятельно м освоении темы ), максимальный эффект, скорее всего, может быть достигнут только во взаимодействии с автором- разработчиком курса.
Если же в образовате льный процесс, основанный на авторском мультимедиа курсе, включается др угой преподаватель, возникает опасность конфликта личностей, так как на едином образовательном поле сталкиваются не только различные способы методической организации учебного процесса, но и разные личностные под ходы.
Что касается проверки качества знаний, неформальный характер процесса оценивания знаний требует применения трудно поддающихся обработке пре подавателем компьютерных тестов, необходима активная обратная связь, п омогающая оценить правильность усвоения материала, должна быть четко в ыражена определенность и результативность [6].
Именно неформально сть знаний как таковых, и процесса проверки знаний в частности, породило множество проблем в области компьютерного тестирования, таких как необ ъективность оценивания, трудность понимания учащимися подготовленных вопросов, медленная работа компьютерных систем, и т.п.
На мой взгляд, инженерия знаний и методы теории искусственного интеллекта помогут создать систему контроля знаний, позволяющую строи ть модели знаний преподавателя и тестируемого и объективно оценивать з нания и умения последнего.
2. Интеллектуальное тестирование
В понятие «искусстве нный интеллект» вкладывается различный смысл — от признания интеллекта у ЭВМ, решающих логические ил и даже любые вычислительные задачи, до отнесения к интеллектуальным лиш ь тех систем, которые решают весь комплекс задач, осуществляемых человек ом, или еще более широкую их совокупность. Можно выделить две основные линии работ по искусственному инте ллекту (ИИ). Первая связана с совершенствованием самих машин, с повышение м "интеллектуальности" ис кусственных систем. Вторая связана с задачей о птимизации совместной работы "искусственного интеллекта" и собственно интеллектуальных возможностей человека.
Идея создания мыслящих машин "человеческого типа", котор ые, каза лось бы, думают, двигаются, слышат, говорят, и вообще ведут себя как живые люди, уходит корнями в глубокое прошлое. Еще древние египтяне и рим ляне испытывали благоговейный ужас перед культовыми статуями, кото рые жестикулировали и изрекали пророчества (разумеется, не без помощи жрецо в). В средние века и даже позднее ходили слухи о том, что у кого-то из мудрецо в есть гомункулы (маленькие искусственные человечки) - настоящие живые, с по собные чувствовать существа [2] . В настоящее время роботы, системы распознавания образов, экспертные сис темы и т.д. вызывают у непосвященного тот же трепет и восторг перед «думаю щей» машиной.
Но не зря в свое время были заморожены некоторые исследования в области ИИ. Попытки создать машинный разум не удавались, и раз за разом энтузиазм ученых угасал, так как существующие на тот момент вычислительные средст ва не позволяли хотя бы приблизительно воссоздать взаимодействие нейр онов головного мозга. Появление многопроцессорных систем и увеличение количества команд микропроцессоров и его тактовой частоты позволяет с ейчас, на мой взгляд, «построить» приближенное мышление человека с испол ьзованием параллельных процессов и нейронных сетей.
Обращаясь к проблеме роли ИИ в обучении и образовании, будем рассматри в ает этот процесс как одну из разновидностей взаимодействия человека с Э ВМ, и раскрывать среди перспективных возможностей те, которые направлен ы на создание так называемых адаптивных обучающихся систем, имити рующи х оперативный диалог учащегося и преподавателя-человека.
2.1 Методы и модели
Интеллектуальное тестирование предполагает наличие модели зн аний, модели самого процесса тестирования и оценивания. Так можно охарак теризовать в общем все разработки в этой области. Рассмотрим некоторые и з них более подробно.
2.1.1 Модели распознавания образа уровня знаний
Традиционная Российская система оценивания знаний обучаемых о снована на лингвистических оценках, по которым устанавливается стипен дия, производится учет успеваемости, проставляются записи в зачетных кн ижках за период обучения и др.
Вместе с тем, такая новая образовательная процедура как образовательно е тестирование по альтернативному признаку предполагает оценивание ур овня знаний в диапазоне от нуля до ста, что порождает проблему распознав ания лингвистического образа знаний по результатам такого образовател ьного тестирования.
Под образом уровня знаний понимаются обучаемые, принадлежащие к множес тву (группе), знания которых по “эталону уровня знаний” отнесены к лингви стическим оценкам неудовлетворительно (D) , уд овлетворительно (C) , хорошо (B) , отлично (A).
Под распознаванием образа уровня знаний понимается проц едура принятия решения о принадлежности конкретного обучаемого к одно му из указанных образов на основании сравнения его образовательных дос тижений при тестировании с характеристиками образа.
При тестировании по альтернативному признаку использует ся закрытая форма теста, характеристиками которой являются: функция пло тности распределения неправильных ответов f(d) , приемлемый уровень неправильных ответов q 0, неприемлемый уровень неправильных ответов q 1 , риск заниженной оценки знаний a , риск завышенной оценки знаний b , функция оценивания знаний f(Q) , объем образова тельной информации N , объем выборки заданий т еста n и критерий принятия решений в виде пре дельного числа неправильных ответов K .
Перечисленные характеристики являются взаимозависимыми, но не обладаю щими достаточным свойством четкости. В условиях их нечеткости для распо знавания образа уровня знаний обучаемых вполне допустимо для нормальн о реализованной образовательной услуги принять модель распределения н еправильных ответов по закону редких случайных событий Пуассона и функ цию оценивания уровня знаний сформировать по этому же закону [8] .
Поскольку образовательная информация в банке заданий теста N в их выборке n представляе тся как статистическая совокупность, а задания теста обучаемому в компь ютерном варианте всегда для выполнения выдаются последовательно, то дл я распознавания образа уровня знаний возможно воспользоваться последо вательным критерием Вальда. При этом примем дополнительное принципиал ьное условие, что задания теста однородны по количеству образовательно й информации по конкретной учебной дисциплине, поскольку аналитически х методов классификации заданий по мере их сложности или трудности пока не разработано.
Будем обозначать гипотезу о приемлемом уровне знаний H 0, а гипотезу о неприемлемом уровне знаний H 1 . Пусть в результате последовательного пос тупления заданий теста в объеме n получены не правильные ответы d 1 , d 2 , d 3 …d n . При известной функции оценивания знаний по закону Пуассона послед овательный критерий Вальда позволяет по выборке объемом n классифицировать обучаемых по уровню знаний на три подоб раза по количеству областей принятия решений. Для того, чтобы иметь четы ре образа необходимо произвести для каждой из трех областей повторное п оследовательное тестирование [7] .
В предлагаемой процедуре рекомендуется использовать два способа распо знавания образа уровня знаний: нормальный и усиленный. При этом задаются только четыре исходные характеристики теста q 1 , q 0, a и b .
По нормальному способу по первой выборке заданий теста n 1 производится классификация обучаемых на т ри предварительные области (уровни): низкая, нормальная и высокая. По втор ой выборке заданий теста n 2 =n 1 или n 2
0, в котором с вероятностью P t нахо дится истинное значение S t и : S t и О [ S t - D I ; S t + D I ]. C пр актической точки зрения это означает, что при проецировании значения S t на шкалу Z I следует принимать во внимание не только сегмент этой шкалы ( I i , I i +1 ], в к оторый попадает значение S t , но и его зонирование с учетом интервала нео пределенности D I .
При попадании суммы баллов в интервал I i + D I < S N < I i + 1 - D I сумма балл ов S N и , соответствующая истинной оценке знаний, ни при каких услов иях не попадает в зоны неопределенности ( I i ±D I ) и ( I i + 1 ±D I ). В этой ситуации имеется достаточн о оснований для выставления оценки O i + 1 сразу по завершении первого этап а тестирования, поэтому дальнейшее предъявление дополнительных или ут очняющих вопросов нецелесообразно [28] .
Заключение
Начавшееся в нашей стране с начала 80-х годов внедрение в учебных з аведениях новых информационных технологий – обучение при помощи педа гогических программных средств, а также использование тестирующих про грамм – дало более чем скромные результаты. Среди многих известных при чин этого (финансовые, технические, организационные, методические трудн ости) отметим одну: психологическое неприятие учителями “компьютерных ” методов обучения и контроля знаний, особенно высококвалифицированны ми, творчески работающими. У них для этого есть основания: налицо большое количество плохих программ, не отвечающих главным психолого-педагогич еским принципам обучения, неудачно реализующих основные этапы процесс а усвоения знаний; как правило, отсутствует методическое сопровождение; оказываются непомерно большими затраты времени и сил на освоение компь ютеров, изучение программы, поддержку соответствующей инфраструктуры; при использовании даже хороших систем нивелируется роль учителя в учеб но-воспитательном процессе, исчезает творческий характер его труда; отс утствует система поощрения педагогов-новаторов, осваивающих новые инф ормационные технологии.
Эту ситуацию, на мой взгляд, можно и хочется изменить. Технический прогре сс стремительно продвинулся вперед, современная вычислительная техник а и системы телекоммуникаций достигли огромных результатов за последн ие несколько лет в плане быстродействия, объемов обрабатываемой и храни мой информации. Развитие систем проектирования программ (объектно-орие нтированные системы визуального программирования, СУБД, системы модел ирования нейронных сетей, и т.п.) дало в руки инженеров и системных аналити ков мощнейшие средства разработки и внедрения в жизнь самых фантастиче ских проектов. Отсутствие финансирования в области образования в нашей стране тормозит, как мне кажется, процессы создания качественных програ ммных продуктов общего применения, смещая акцент в сторону коммерчески х интеллектуальных мультимедийных курсов, создание которых могут себе позволить только крупные «софтверные» компании.
В данной работе частично были проанализированы существующие методы и м одели, позволяющие построить так называемую интеллектуальную автомати зированную систему контроля знаний. Практические реализации собственн ых теоретических разработок в этой области уже есть: на сегодняшний ден ь готова демонстрационная версия программы, проводящей тестирование п о методу цепочек вопросов. Этот метод не является «интеллектуализацией » процесса контроля знаний, а является первым шагом к созданию системы, п озволяющей преподавателю проводить текущий и финальный контроль боле е быстро, объективно и эффективно. Реализация методов адаптивного тести рования, использование нечеткой логики и инженерии знаний позволит дос тичь больших результатов в этой области.
Список использованной литературы
1. Касьянова Н. В. «Cоздание системы компьютерного контроля как резул ьтат новых информационных технологий в обучении», Восточноукраинский Национальный Университет (ВНУ), Украина, г.Луганск // материалы конференци и ИТО-2001;
2. Бренич С.Г. «Проблема искусственного интеллекта. Кибернетика.» // ре ферат;
3. Иващенко А.И. «Контроль знаний и умени й учащихся по математике в школе» // дипломная работа;
4. Ваньков Е.А. «Технологии компьютерного тестирования» // реферат;
5. Ку знецов А. А. «Универсальная автоматизированная обучающая система. Подси стема контроля знаний.» // дипломный проект;
6. Соловей Е.В. «Автоматизированная сис тема контроля знаний «Цепь знаний». Сетевая версия» // дипломный проект;
7. http://ito.edu.ru/2001/ito/VI/VI-0-28.html ;
8. Моисе ев В.Б., Пятирублевый Л.Г., Таранцева К.Р. «Информационный подход к выбору ре шений в системах адаптивного тестирования». Материалы конференции «Ан ализ качества образования и тестирование». 22.03.2001, Москва, МО РФ, МЭСИ
9. Моисеев В.Б., Пятирублевый Л.Г., Таранце ва К.Р. «Распознавание образа обучаемых по уровням их знаний в компьютер ном тестировании». Сборник материалов Интернет-конференции «Проблемы перехода классических университетов в систему открытого образования» . Москва. МЭСИ, 2001
10. http://ito.edu.ru/2001/ito/VI/VI-0-19.html ;
11. http://ito.edu.ru/2001/ito/VI/VI-0-27.html ;
12. Моисе ев В.Б., Усманов В.В., Таранцева К.Р., Пятирублевый Л.Г. «Оценивание результат ов тестирования на основе экспертно-аналитических методов». Журнал «От крытое образование», №3, 2001, с.32-36.;
13. http://ito.edu.ru/2001/ito/VI/VI-0-12.html ;
14. http://ito.edu.ru/2001/ito/VI/VI-0-1.html ;
15. http://ito.edu.ru/2001/ito/VI/VI-0-32.html ;
16. http://ito.edu.ru/2001/ito/VI/VI-0-2.html ;
17. http://ito.edu.ru/2001/ito/VI/VI-0-17.html ;
18. http://www.tl.ru/~gimn13/ped/doclad/shuhard.html ;
19. Аванесов B.C. Композиция тестовых зада ний. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов пед.вузов. 2 изд., испр.. и доп. М.: Адепт;
20. Границкая А.С. Научить думать и дейст вовать: Адаптивная система обучения в школе: Кн. для учителя. М.: Просвещен ие;
21. Казаринов А.С., Култышева А.Ю., Мирошнич енко А.А. Технология адаптивной валидности тестовых заданий: Учебное пос обие. Глазов: ГГПИ, 1999;
22. Майоров А.Н. Тесты школьных достижени й: конструирование, проведение, использование. Издание второе - СПб.: Образ ование и культура, 1997;
23. Кальней В.А., Шишов С.Е. Технология мони торинга качества обучения в системе “учитель-ученик”: Методическое пос обие для учителя. М.: Педагогическое общество России, 1999;
24. Челышкова М.Б. Разработка педагогиче ских тестов на основе современных математических моделей: Уч.пособие. М.: Исследовательский центр проблем качества подготовки специалистов, 1995;
25. П.Ю. Шалимов, В.И. Попоков «Технология р ейтинговых исследований качества образования с применением нейронных сетей»
26. И.Д. Рудинский, Е.В. Соловей «Автоматиз ированный контроль знаний по методике уточняющих вопросов». Сборник ма териалов конференции, 2001
27. И.Д. Рудинский, Е.В. Соловей «реализаци я алгоритмов прямого тестирования в интеллектуальной автоматизирован ной системе контроля знаний». Сборник материалов конференции, 2001
28. И.Д. Рудинский «Метод адаптивного авт оматизированного контроля знаний». Сборник материалов конференции, 2001