Разработка и реализация тестовых заданий по дисциплине «Представление знаний»

В данной дипломной работе рассмотрено создание тестовых заданий по дисциплине «Представление знаний в ИС», для чего были проанализированы достоинства и недостатки тестирования, психологическая составляющая тестирования; рассмотрены основные понятия и составляющие тестирования.Разработана система тестов с помощью оболочки для тестирования.

Защищалась в 2013г в Волгодонском институте сервиса, оценка -хорошо.
...

Введение 5
1 Тестовые задания: цели, назначения, особенности 7
1.1 Информационные технологии в образовании 7
1.2 Тестирование в образовании 14
1.3 Базовые требования к тестам 21
2 Анализ средств реализации тестовой системы 27
2.1 Общий обзор возможных средств реализации тестовой системы 27
2.2 Использование Flash и ActionScript 27
2.3 Применение HTML 32
2.4 Использование готовой оболочки для создания тестов 33
3 Реализация тестовых заданий по дисциплине «Представление знаний» 48
3.1 Постановка задачи на дипломное проектирование 48
3.2 Соответствие разработанных тестовых заданий требованиям 48
3.3 Общая структура и содержание тестовых заданий 50
3.4 Создание тестов 52
3.5 Настройки теста 59
3.6 Обобщенный тест 65
3.7 Пример работы разработанных тестов 66
4 Информационная безопасность 70


4.1 Законодательная база информационной безопасности 70
4.2 Оценка и анализ рисков информационной системы 74
4.3 Разработка мер безопасности, оценка рисков после их внедрения 77
5 Экономическое обоснование целесообразности разработки тестовых заданий по дисциплине «Представление знаний» 83
5.1 Цели и задачи, решаемые в экономической части 83
5.2 Расчет амортизационных отчислений 83
5.3 Расчет заработной платы разработчика 85
5.4 Расчет выплат в социальные фонды и накладных расходов 85
5.5 Расчет расходов на энергопотребление 86
5.6 Расчет общих затрат на создание тестов 86
5.7 Оценка эффективности разработки тестовых заданий по дисциплине «Представление знаний в ИС» 87
Выводы и рекомендации 88
Библиографический список 90

Результаты автоматизированного тестирования лучше поддаются анализу, чем субъективно выставляемые оценки. Применение программ тестирования и компьютерных тестов при проверке знаний является экономически выгодным и обеспечивает повышение эффективности учебного процесса, объективности оценки уровня знаний и является рациональным дополнением к другим методам проверки знаний. Немаловажную роль, при использовании компьютерного тестирования, играет выбор программ для тестирования знаний, разработки и создания тестов.
Контроль выполняет свою положительную роль тогда, когда он основан на непредвзятом подходе, объективности. Известно, что проверка, осуществляемая любым человеком, всегда несет в себе то или иное влияние этого человека, его отношение к проверяемому. Субъективизму и связанным с ним различным нарушениям противопоставляется такая система организации контроля, которая исключила бы отрицательные проявления в принципе, опиралась бы на объективированные методы [4].
Среди преимуществ КТ можно выделить следующие [2]:
 КТ позволяет сэкономить сред¬ства, расходуемые обычно на печать и транспортировку бланко¬вых тестов.
 При КТ повышается ин¬формационная безопасность и предотвра-щается рассекречивание теста за счет высокой скорости передачи информации и специ¬альной защиты электронных файлов.
 Упрощается процеду¬ра подсчета результирующих баллов в тех случаях, когда тест со¬держит только задания с выбором ответов.
 При КТ учащемуся незамедлительно выдается тестовый балл и принимаются неотложные меры по коррекции усвое¬ния школьником нового материала на основе анализа протоколов по результа¬там выполнения корректирующих и диагностических тестов.
 Повышаются инфор¬мационные возможности процесса контроля, появляется возмож¬ность сбора дополнительных данных о динамике прохождения те¬ста отдельными учащимися и для осуществления дифференциа¬ции пропущенных и не достигнутых заданий теста.

Другая установка в организации педагогического контроля берет свое начало из учения И. Ф. Песталоцци. В наши дни она оформилась в виде педагогики сотрудничества, где контроль играет меньшую роль, особенно, если он используется как средство принуждения. В педагогике сотрудничества контроль проводится, как правило, в игровых формах, на добровольной, и чаще всего, традиционной методической основе. Итоги контроля рассматриваются как средство активизации деятельности студентов в желаемых направлениях и формах. Возможности же применения тестов в педагогике сотрудничества по-настоящему еще не изучены.

С начала XXI в. в образовании стало широко применяться компьютерное тестирование, при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК. Педагогами и специалистами неоднократно высказывается мнение, что обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов: при про¬ведении экзаменов в труднодоступных районах России; при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха и др.
Компьютерное тестирование может проводиться в различных формах, раз¬личающихся по технологии объединения заданий в тест.
В настоящее время тестирование широко используется повсеместно, например, традиционные выпус кные и вступительные экзамены заменены в Российской Федерации на ЕГЭ. Так же широко приветствуется введение всевозможных тестов и в процесс обучения в школах и вузах страны.
Помимо этого, нужно привлекать учащихся к активному участию в процессе обучения, для чего используются задания, групповое участие в решении задач. Эффективно взаимодействовать с учащимися помогают интерактивные технологии. К ним относятся различные задания, индивидуальные и групповые, направленные на формирование различных умений и навыков.

Однако HTML удобно использовать как оболочку для набора тестов, для представления разработанных тестов в сети Интернет или в локальной сети вуза, а также как инструмент для связывания материалов по дисциплине и проверочных заданий на усвоение материала.2.4 Использование готовой оболочки для создания тестовПоследняя рассматриваемая альтернатива – использование готовой оболочки для создания тестов. Эта возможность имеет ряд плюсов, основные из которых:отсутствие программной разработки, которое дает возможность сосредоточиться на разработке тестов;удобство и гибкость инструментов создания тестов;легкость в изменении и дополнении теста;широкий выбор оболочек и настроек.Существует множество ресурсов, которые помогают самостоятельно построить требуемый тест, как в режиме он-лайн, так и инсталлировав нужную программу. Распространяются платные, условно бесплатные и полностью бесплатные приложения, позволяющие создавать требуемые тесты.Одним из главных достоинств использование готовой оболочки является возможность ее использования в локальной сети ВУЗа, широкое ее применение не только для выбранной дисциплины, но и для других учебных дисциплин, если будет такая необходимость. Поэтому использование готовых оболочек – перспективное решение.Ниже эти возможности рассматриваются более подробно.2.4.1 Обзор интернет-ресурсов по созданию тестов on-lineНапример, сайт компьютерного тестирования http://slmini.narod.ru показанный на рис.2.1, предоставляет программы для тестирования. Программы создавались под конечного пользователя, которому возможности программы казались не только абсолютно понятными и естественными, но и необходимыми. Благодаря проведенной широкой унификации, эти программы для разработки тестов и тестирования дополняют друг друга. Их можно использовать как отдельно каждую, так и совместно, что позволяет более эффективно создавать компьютерные тесты и проводить компьютерное тестирование знаний учащихся [13].Программы для создания тестов достаточно компактны, не требуют установки, позволяют работать как в локальной сети, так и со сменного носителя. 43815052070Рисунок 2.1 – Сайт компьютерного тестирования http://slmini.narod.ru/Для составления теста, в качестве конструктора тестов, используется текстовый редактор MS Word, что позволяет использовать в вопросах дополнительные объекты и форматирование шрифта. В процессе компьютерного тестирования созданный тест ведет журнал, в который заносятся итоговые результаты. Кроме этого, формируется протокол проверки знаний, в котором отражаются результаты тестирования с детализацией по всем вопросам. Созданный исполняемый тест позволяет проводить контроль знаний учащихся, как со сменных носителей, так и в локальной сети. На сайте http://www.wosoft.ru/load/tests_online/ представлены также различные системы тестирования, например, Tests Online 1.2, показанный на рис.2.3. Данная система позволяет перейти на совершенно новый уровень проверки знаний учащихся или проведения аттестаций сотрудников. 72390724535Рисунок 2.2 – Сайт тестирования по государственной аккредитации Рисунок 2.3 – Система тестирования Tests OnlineБлагодаря технологии онлайн тестирования возможно провести тесты, например, в распределенных объектах в различных городах в одно и то же время. Cистема не является набором готовых тестов – это удобный инструмент для создания собственных тестов различных типов [14]: тесты на проверку знаний с результатом в виде процента верных ответов;психологические тесты, где результатом являются набранные баллы.Вопросы для тестов делятся на 3 категории:вопросы с одним верным ответом из множествавопросы с несколькими верными ответами из множествасвободные ответыСоздание и прохождение тестов происходит в режиме online, тем самым, позволяя работать с удаленными пользователями. В системе предусмотрено 2 типа ролей: администратор и пользователь. Администратор может создавать пользователей, вопросы/ответы, тесты и управлять результатами тестов. Пользователь имеет возможность только проходить доступные тесты и просматривать свои результаты (при наличии прав). Каждому ответу можно указать стоимость в баллах для дальнейшего автоматического анализа результатов по сумме баллов или процентов. Вопросы удобно собирать в группы тем самым давая возможность создавать наборные тесты с вопросами из разных групп.В целом можно сказать, что существует множество программных средств и шаблонов, которые можно использовать при подготовке и создании различных тестов.2.4.2 Обзор программных оболочек для создания тестовЗдесь рассматриваются наиболее популярные в сети оболочки для создания тестов. Они часто используются для дистанционного обучения и для текущего контроля знаний. Это следующие программы [15]:Программа для создания тестов»;TestMaker;MyTestXPro и MyTestX;Редактор тестов easyQuizzyБольшинство представленных программ относятся к платному или условно-бесплатному программному обеспечению, есть и полностью бесплатные программы.«Программа для создания тестов» предназначена для разработки тестов с целью последующей проверки знаний представителей учебных учреждений, персонала фирмы и т.п. Программа позволяет создать тест любой тематики и работает как файл-сервер.Пароль для входа Администратора «1», для входа преподавателя «q», для тестируемого – свою Фамилию, Имя и Отчество. Программа условно-бесплатная, стоимость – 840 рублей.Один из основных плюсов – возможность удаленного тестирования.TestMaker – программа для создания тестов. Возможно использовать неограниченное количество вопросов, ответов и тем. TestMaker состоит из тестирующей оболочки TestMaker_User и редактора тестов TestMaker_Admin Программа проста в использовании, имеет удобный интерфейс.Возможности программы:Установка определенного балла каждому вопросу;Установка порога для зачёта в процентах / в баллах;Неограниченное количество вопросов и ответов;Возможность задать несколько верных ответов;Ограничение теста по времени (общее время / время на каждый вопрос);Шифрование файла теста;Возможность проведения теста по всем вопросам / по определенной выборке;Вставка в тест изображений / видео / аудио;Опциональная возможность просмотра верных ответов в «Протоколе Тестирования»;Опциональная возможность возврата к предыдущему вопросу;Перенос данных из одного теста в другой;Блокировка выхода из программы паролем / блокировка редактирования теста/ ;Блокировка запуска теста;Возможность сохранить результаты тестирования в сетевую / локальную папку;Скрытие тестовой оболочки от диспетчера задач (в Windows XP);Настройка шрифта для тестовой оболочки;Импорт данных в тест из TXT-файлов;Сохранение теста в самоисполняемый файл.Программа полностью бесплатна и довольно удобна. Неудобство – использование программы на страх и риск пользователя, а также неудобный пользовательский интерфейс. 434340962025MyTestXPro – это система программ для создания и проведения компьютерного тестирования знаний, выставления оценки по указанной в тесте шкале, сбора и анализа результатов. Рисунок 2.4 – Модуль создания тестов программыС помощью программы MyTestXPro возможна организация и проведение тестирования, экзаменов в любых образовательных учреждениях (вузы, колледжи, школы) как с целью выявить уровень знаний по любым учебным дисциплинам, так и с обучающими целями. Предприятия и организации могут осуществлять аттестацию и сертификацию своих сотрудников. Программа состоит из трех модулей: Модуль тестирования, Редактор тестов и Журнал тестирования.Параметры тестирования, группы, задания, изображения и звуки к заданиям – всем хранится в одном файле для каждого отдельного теста. Никаких баз данных, никаких лишних файлов: один тест – один файл. Файл с тестом зашифрован и сжат. Наибольшим достоинством программы является модуль вывода и анализа результатов тестирования, показанный на рис.2.5, и также возможность гибкой настройки параметров теста, рис.2.6.Рисунок 2.5 – Модуль анализ результатов тестаПрограмма MyTestXPro работает с десятью различными типами заданий. В тесте можно использовать как задания одного типа, так и задания разных типов. Количество групп и заданий в тесте не ограничено. Вопросы с вариантами ответа могут включать до десяти вариантов.С помощью MyTestXPro можно организовать как локальное, так и сетевое тестирование. При сетевом тестировании результаты тестирования могут быть переданы по сети в модуль Журнал, а могут быть отправлены по электронной почте.Рисунок 2.6 – Модуль настроек тестаMyTestXPro является условно-бесплатной программой и распространяется по принципу «Попробуй перед тем, как купить» (shareware).Более старая версия программы – MyTestX – является бесплатной для некоммерческого применения. Для коммерческого применения необходимо приобретать лицензию.Программа TestBuilder 2.0 позволяет начать новый проект с нуля или редактировать уже существующие тесты. От создателя теста требуется ввести вопросы и ответы, поставить галочки возле правильных ответов и всё, создание тестов произойдет автоматически. Будет сформирована программа тестирования, с функцией обучения, ведения протокола тестирования и т.д. Тесты всегда можно будет отредактировать, добавить или удалить вопросы.Программа тестировалась под Windows XP и Windows 7 корректно работает с экраном 1152 х 864 и более. Для работы программы необходим MS Office 2007 или более поздний. 741680930275Программа позволяет создавать тесты, состоящие из тематических блоков, и определять сколько вопросов от каждого блока будет участвовать в обобщенном тесте (рис. 2.7).Рисунок 2.7 – Интерфейс программы TestBuilder 2.0К недостаткам данной программы можно отнести нередкие «глюки» при создании тестов, а также отсутствие гибких настроек оценки.Редактор тестов easyQuizzy. easyQuizzy – это простая и удобная программа для создания и редактирования тестов знаний.Каждый тест представляет собой независимую программу, которую достаточно скопировать на любой компьютер и запустить, чтобы начать тестирование.Тесты easyQuizzy удобно использовать на школьных уроках при ежедневных быстрых опросах и подготовке к ЕГЭ, в ВУЗах для текущего и итогового контроля знаний, на предприятиях для аттестации и сертификации персонала, а также включать в состав электронных учебников для дистанционного обучения и самообразования.Программа easyQuizzy проста и эргономична в использовании. Поливариативность формирования тестового задания, исключающая повторы тестов, упаковка теста в exe-файл позволяют его эффективное использование в качестве дистанционной формы проверки уровня знаний слушателя не только в локальной сети, но и в удаленном доступе с использованием интернета и электронной почты, а так же для его самостоятельной работы и самооценки при подготовке к сдаче устных контрольных форм.Данная программа, показанная на рис. 2.8, широко применяется в школьном и вузовском обучении, поддерживает инсталляцию за один клик.Рисунок 2.8 – Инсталляция easyQuizzyПрограмма условно-бесплатная, однако для незарегистрированной версии нет никаких ограничений. Помимо этого очень ощутимого плюса программа имеет ряд достоинств, которые будут рассмотрены ниже более подробно.Все рассмотренные программы были установлены и протестированы, для того, чтобы выбрать оболочку для реализации задания на дипломную работу. Наилучшими вариантами, на основе личного использования можно назвать MyTestXPro и easyQuizzy. MyTestXPro превосходит easyQuizzy в том, что можно построить обобщенный тест на основе уже построенных модулей, и регулировать количество выбранных из каждого модуля вопросов, а также в более изощренном модуле анализа результатов.easyQuizzy – более простая программа по сравнению с MyTestXPro, однако, в отличие от него, она может быть использована бесплатно в образовательных учреждениях, для которых была разработана. При этом она практически не уступает остальным рассмотренным вариантам. Поэтому именно она выбрана для реализации тестовых заданий и будет рассмотрена ниже подробнее.2.4.3 Редактор тестов easyQuizzyКаждый создаваемый тест представляет собой независимый исполняемый файл, который запускается на любом компьютере под управлением Windows. Он задает пользователю вопросы и выставляет оценку на основе заданной шкалы баллов. Для начала прохождения исполняемого файла теста достаточно запустить его на выполнение с помощью проводника Windows или любого файлового менеджера.После этого появится окно подготовки к тестированию, в котором можно ввести свое имя (оно будет включено в печатный протокол), прочитать название теста, его краткое описание и имя автора. Отсчет времени и задание вопросов начинается после нажатия кнопки «Начать тестирование».Затем откроется главное окно тестирования, в котором по очереди задаются вопросы и предоставляются варианты ответов. Когда тестируемый отвечает на все запланированные вопросы или досрочно покидает тест, открывается окно, где можно увидеть результаты. Содержимое окна результатов контролируется настройками теста. Устанавливать дополнительные программы для прохождения тестов на другом компьютере не нужно. Каждый тест представляет собой независимую Windows-программу, которую достаточно скопировать на любой компьютер и запустить, чтобы начать тестирование.При использовании тестов в среде Linux, то нужно придется установить среду Wine последней версии. После ее установки запуск тестов в среде Linux не отличается от запуска в среде Windows.Разработанный в оболочке тест легко опубликовать на сайте или в локальной сети. Для публикации достаточно выложить исполняемый файл теста (с расширением exe) на сайт с помощью протокола FTP или другим способом, и дать ссылку на загрузку.При клике пользователем на такую ссылку файл автоматически загружается на компьютер и после загрузки готов к прохождению.Если правилами хостинга запрещено загружать на него исполняемые файлы, можно использовать бесплатные «облачные» сервисы Dropbox или Wuala, которые позволяют пользователям хранить и делиться файлами с другими людьми в интернете. После добавления теста easyQuizzy в «публичную» папку на облачном сервисе, на него можно давать ссылки с сайта или блога.Программа easyQuizzy совместима с операционными системами Windows 2000, Windows XP (SP1 и SP2), Windows .NET Server, Windows 2003 Server, Windows Vista, Windows Longhorn Server, Windows 7. Возможен запуск в среде Linux на последних версиях эмулятора Wine.Принцип построения теста. Каждый тест состоит из нескольких вопросов, логически объединенных некоторой общей темой. Текущая версия easyQuizzy поддерживает только одну тему для каждого теста. Если необходимо протестировать учащихся сразу по нескольким темам, то следует создать несколько файлов тестов, каждый из которых будет содержать нужную тему.Модель проверки знаний. Изначально проект easyQuizzy разрабатывался, чтобы облегчить работу преподавателей средних школ и ВУЗов, упростив ежедневные «быстрые» опросы учеников. Обычно такие опросы проводятся следующим образом:Преподаватель заготавливает и распечатывает вопросы и варианты ответов теста.Бумажные листы с тестами раздаются учащимся.В течение 10-15 минут учащиеся должны ответить на все вопросы теста, выделив правильные варианты ответов.Листы с тестами возвращаются преподавателю, и он выставляет оценки.Быстрый опрос с помощью easyQuizzy выглядит аналогично:Преподаватель набирает вопросы и варианты ответов теста в программе easyQuizzy, указав произвольное ограничение времени тестирования.Программа генерирует исполняемый файл теста.Преподаватель копирует исполняемый файл теста на компьютеры учащихся или открывает доступ к файлу теста по сети.Учащиеся запускают исполняемый файл теста и отвечают на задаваемые вопросы.После прохождения теста каждому учащемуся выставляется оценка, которую он сообщает преподавателю. Также учащийся может сразу после окончания тестирования распечатать подробный отчет на сетевом принтере или сохранить его в RTF-файл.Компьютерное тестирование позволяет намного ускорить процесс быстрого опроса и последующей проверки ответов учащихся, т.к. выставление оценки происходит автоматически на основе выбранной системы оценивания.Программа также предусматривает выбор различных шкал оценки, например: международный бакалавриат, зачетная система, системы оценки США, Великобритании, а также пяти-, десяти-, двенадцати- и стобалльная шкалы оценки, а также создание собственной системы оценки, показаное рис.2.9.107823069850Рисунок 2.9 – Установка шкал оценкиСистема оценивания easyQuizzy строится на том, что все вопросы теста приблизительно равнозначны по сложности и одинаково влияют на результирующую оценку. На каждый вопрос теста учащийся может ответить либо полностью правильно, либо полностью неправильно.Таким образом, оценка ставится на основе следующей информации: «на какое количество вопросов учащийся ответил правильно из всех вопросов, запланированных автором теста». После прохождения теста учащемуся предоставляются сведения о результатах тестирования, и выставляется рекомендуемая оценка. В разделе были рассмотрены различные средства выполнения задания на дипломную работу. Из представленных вариантов было выбрано использование готовой оболочки для создания тестов, по причине не только легкости, но и перспективности данного решения, так как его можно использовать и для создания тестов по другим дисциплинам.Программы для создания тестов были опробованы, проведен анализ их недостатков и достоинств.Из рассмотренных программ выбран редактор тестов easyQuizzy, который хорошо показал себя в среде образовательных учреждений, позволяет использовать файл теста автономно, независимо от установки оболочки на компьютере.3 Реализация тестовых заданий по дисциплине «Представление знаний»3.1 Постановка задачи на дипломное проектирование В дипломной работе поставлена задача разработать и создать систему тестовых заданий по дисциплине «Представление знаний». Создаваемая программа для тестирования студентов должна быть простой, иметь интуитивно понятный интерфейс, и возможность легко обновлять тесты – вносить изменения, добавления.Ее задача – автоматизировать контроль текущих знаний студентов и самоконтроль студентов при изучении курса «Представление знаний».3.2 Соответствие разработанных тестовых заданий требованиямВ разделе 1.3 рассматривались основные требования к разработке тестов, которые учитывались при создании тестовых заданий. Прежде всего, это:Необходимость соответствия требованиям ГОС и учебной программы дисциплины.Необходимость соответствия количества тестовых заданий объему разделов и тем учебных дисциплин, изучаемых в рамках курса.Поскольку читаемая дисциплина соответствует рабочей программе и государственным стандартам, первое требование выполнено. В рабочей программе рассмотрены и утверждены изучаемые разделы. Поэтому вопросы должны находиться в рамках данных разделов, и не выходить за эти пределы.Также реализовано в разработанном тесте требование к наличию тестовых заданий различной тестовой формы. Используемые в тестах формы заданий подробно рассмотрены ниже.Ориентация тестовых заданий на получение однозначного заключения значит, что ответ на вопрос тестового задания должен исключать двузначное толкование. Примером неудачного задания является тест из Википедии по «Представлению знаний» с таким заданием:Продукционная модель – это:Свод правил, записанных в форме «ЕСЛИ – ТО».Сетевая модель в виде графа.Набор шаблонов с жесткой структурой.Модель представления знаний.Здесь в вариантах ответа есть два правильных ответа: 1 и 4. Некорректно сформулированы варианты, так как продукционная модель это и свод правил, записанных в форме «ЕСЛИ – ТО», и модель представления знаний. При этом правильным вариантом назван вариант 1.Формулировка содержания ТЗ реализована в виде свернутых кратких суждений, как и рекомендовано. Текст тестовых заданий не содержит сложноподчиненных конструкции и повелительного наклонения. Вместо слов «выберите» и т.п., тестовые задания сформулированы как вопросы.Важным моментом является рекомендация, что количество заданий в базе тестовых заданий должно превышать длину формируемого на его основе теста.