Технология тестирования в процессе изучения информатики

Горбунова Татьяна Николаевна кандидат технических наук доцент, Московский государственный строительный университет (НИУ МГСУ) 107023, Россия, г. Москва, ул. Б. Семёновская, 38, оф. 4603 Gorbunova Tatiana Nikolaevna PhD in Technical Science associate professor of the Department of Applied Mathematics, Moscow State University of Civil Engineering, Department of Information Systems and Technolologies, Moscow Polytechnic University 107023, Russia, g. Moscow, ul. B.semenovskaya, 38, of. 4603 tngorbunova@yandex.ru Другие публикации этого автора

Весь учебный процесс является сложной системой. И для согласованности ее функционирования важным фактором является возможность получения и расшифровки обратной связи, которая необходима всем участникам учебного процесса. Преподаватель, получая необходимую информацию об уровне достижений студентов, имеет возможность скорректировать учебный процесс для его оптимизации. Обучаемый также сможет осуществлять самоконтроль и самодиагностику своего обучения. Подобная информация также важна и для различного уровня управленческих органов.

В наши дни существует достаточно много форм для организации такой обратной связи, в том числе и в виде разнообразных тестов, которые при выполнении целого комплекса мероприятий могут служить относительно объективным инструментом педагогической диагностики, позволяя организовать эффективную систему обратной связи. ^[1-5]

Педагогическое тестирование служит не только целям мониторинга. Как отмечает В.Аванесов ^[6], одной из функций педагогического тестирования является обучающая функция, которая наиболее ярко проявляет себя в программированном обучении.

Целью данного исследования была разработка технологии комплекса мероприятий для проведения тестирования и включения его в учебный процесс.

Подготовка и проведение теста

В МГСУ уже не первый год на кафедре Прикладной математики проводится тестирование студентов по математики. Положительный опыт использования разработанной методики, описанной в работах ^[7,8], позволил распространить его и на Информатику.

Из всего процесса изучения данной дисциплины был выбран семестр, в котором происходит изучение основ программирования в среде MATLAB, введение в численные методы с использованием знаний линейной алгебры. Поэтому данный семестр можно рассматривать как применение изученных математических моделей в Информатике, а сам этот модуль можно рассматривать как междисциплинарным.

Данный курс Информатики состоит из лекционного курса и 7 практических работ. Курс завершается дифференцированным зачетом. Темы, вынесенные на изучение:

1. решение СЛАУ методом Гаусса;

2. решение СЛАУ итерационными методами, такими как методом простой итерации и методом Зейделя;

3. вычисление обратной матрицы методом Гаусса;

4. вычисление собственных значений и собственных векторов матрицы с изучением степенного метода;

5. численное интегрирование методами средних, трапеций и Симпсона;

6. решение нелинейного уравнения методами половинного деления и методом касательных;

7. метод наименьших квадратов для построения оптимальной прямой.

Выполнение каждой практической работы состоит из трех этапов:

1. выполнения ручного счета для изучения функционирования математической модели и получения тестового результата;

2. реализации программы на компьютере, в данном случае в среде MATLAB и сравнения результатов с ручным счетом;

3. защита работы.

И именно последний этап защиты первых четырех работ проводилась в тестовом виде.

Моделирование тестов

Вся технология моделирования тестов должна определяться поставленным целям. В данном случае в качестве такой цели формулировалась задача оценить понимание студентом математических моделей и численных методов рассмотренного класса задач. Для достижения этой цели при моделировании тестов были использованы следующие технологии.

Принципы формирования содержания заданий

1. Согласно теории тестирования, задания должны быть сформулированы в лаконичной форме исключающей неоднозначное трактование. На тему каждой работы было отведено по 4 тестовых заданий. Формулировка всех заданий была выполнена в единой логической форме высказывания в виде утвердительного предложения. Согласно В.С.Аванесову, это средство способствует упорядочению и эффективной организации содержания теста ^[9].

2. В группу тестов для каждой работы входил теоретический вопрос закрытого типа, когда студент выбирает правильный или несколько правильных ответов из предложенных вариантов. Также содержалось задание на вычисление также закрытого типа, и два задания на вычисления открытого типа, в которых испытуемый должен был решить задачу и записать полученный результат. Таким образом, количество заданий открытого и закрытого типа распределялось поровну.

Бесспорно, что задания открытого типа исключают возможность угадывания, но также налагают более жесткие требования к самой формулировке задания, исключая его двусмысленность.

3. Используя закрытую и открытую форму задания, удается выстроить задания с возрастающей сложностью и, тем самым, повысить и их обучаемую способность.

В качестве примера ниже приведены четыре тестовых задания по теме итерационные методы решения СЛАУ.

1.Укажите системы с диагональным преобладанием

• • • •

2. Решить систему уравнений методом простой итерации. Выполнить 1 шаг. В качестве начального приближения выбрать . В ответе указать .

3. Дана система линейных уравнений . Для сходимости метода простой итерации ее надо записать в виде

4. Используя метод простой итерации (3 итерации) определить 1-й столбец обратной матрицы к матрице А:

Последнее задание позволяет проверить понимание не только итерационного процесса, но и понимание метода нахождения обратной матрицы. Таким образом, позволяет студенту выполнить действия анализа и синтеза для получения решения задачи, что соответствует уже верхним уровням таксономии Блума ^[10].

4. Применение принципа фасетности позволил на каждое из 16 видов заданий составить по 30 однотипных задач. Сами варианты теста формировались случайным образом по оригинальной методике, описанной в работе ^[7,8]. "Авторская программа в виде макроса на языке Visual Basic генерирует 30 параллельных индивидуальных вариантов тестов, распределяя задания между испытуемыми случайным образом, что обеспечивает уникальность набора заданий для каждого студента во всех учебных группах".

5. Студенты выполняют тесты в письменном виде. Подобная форма может вызвать некоторое недоумение и требует дополнительного разъяснения. Безусловно, сейчас в период всеобщей компьютеризации и информатизации всех сфер жизнедеятельности общества использование бумажного варианта для тестирования, требует пояснения.

Тестирование в наше время используется повсеместно. Программных средств для проведения автоматизированного тестирования существует достаточно много. Об этом достаточно подробно написано в работах ^{[10, 11, 12, 13, 14]}.

При проведении тестирования по математики подобный способ был оправдан отсутствием компьютеров в учебных аудиториях. Занятия по Информатике проходят в компьютеризированных помещениях.

Главное достоинство подобного способа, по мнению авторов - это методическая организация самого процесса обучения. Тестирование - часть этого процесса. Защита практических работ должна показать понимание методов решения определенного класса задач. Все вычислительные задания были сформулированы таким образом, что их можно решить как вручную ^[15], так и на компьютере в системе MATLAB или при помощи других программных средств, например Excel. Поэтому именно бумажный вариант теста позволял студенту сделать выбор в пользу того или иного способа решения, записав способ решения.

Конечно, недостатки подобной формы теста также очевидны. Это и дополнительные затраты на бумагу, картриджи. Проверка осуществляется преподавателем вручную с использованием файла ответов, который генерируется программой одновременно с индивидуальными вариантами заданий. Тем самым проверка проходит достаточно быстро.

И еще одно несомненное достоинства подобной формы - это возможность индивидуального разбора теста в присутствии студента «по горячим следам», а также обобщенного анализа для всей группы.

6. Тестирование было ограничено 60 минутами.

Тестирование

Тестирование было проведено в трех группах первого курса и двух группах второго курса Московского государственного строительного университета.

Результаты тестирования были статистически обработаны с помощью табличного процессора Miсrosoft Excel ^{[16, 17]}. Каждая задача оценивалась по двухбалльной шкале: 0 – задача решена неверно, 1 – задача решена верно. Согласно классической теории тестов результат тестирования испытуемого определяется тестовым баллом – суммой набранных баллов при решении тестовых заданий.

Статистическая обработка тестов

Для каждой группы были вычислены основные характеристики распределения тестовых баллов: , дисперсия , стандартное отклонение и коэффициент ассиметрии . Результаты представлены в таблице 1.

Таблица 1

Результаты тестирования оказались предсказуемыми: лучший результат показали студенты второго курса.

Проверка гипотезы о нормальном распределении тестовых баллов

Известно, что для нормативно-ориентированного теста, предназначенного для ранжирования испытуемых по уровню знаний с использованием методов стандартизации, кривая распределения тестовых баллов испытуемых должна быть симметрична и близка к гауссовой кривой.

Для проверки соответствия распределения баллов нормальному существует достаточно много способов. Выбор был сделан в пользу технологии, изложенной в работе ^[18]. Предварительный этап состоит из визуального. Используя возможности того же Excel, можно построить гистограммы распределения индивидуальных баллов для групп испытуемых в зависимости от количества решенных задач. И, если визуально распределение близко к нормальному, сделать предварительный вывод. В качестве начальной стадии анализа была выполнена эта процедура, все гистограммы показали нужное распределение.

Следующий этап состоял в анализе статистических характеристик, таких как: медиана, мода, ошибка среднего и др. Все эти характеристики могут быть получены в Excel Данные - Анализ данных - Описательная статистика. И анализ этих характеристик также показал, что распределение баллов близко к нормальному.

Эти результаты не приводятся в этой статье, т.к. окончательное решение было принято после выполнения критерия Шапиро-Уилка. Данный критерий применяется как раз для небольшой выборки <50.

Алгоритм расчета критерия Шапиро-Уилки в Excel:

1. Данные измерений сортируют от минимума к максимуму.

2. Вычисляют среднее значение выборки и квадрат отклонений от среднего

3. Вычисляют коэффициент b по формуле:

ai- известные коэффициенты, которые находятся либо по специальным таблицам ^[19], либо могут быть вычислены программно по соответствующим соотношениям ^[20].

4. Находят эмпирическое значение критерия по формуле

5. Сопоставляют полученное значение критерия Wэмп с табличным значением, которое также можно взять из ГОСТа ^[19]. Либо вычислить программно.

Если Wэмп>>Wтабл , то гипотеза о соответствии полученных результатов нормальному распределению не отвергается.

В таблице 2 приведены расчетные и табличные значения статистики критерия Шапиро-Уилка при уровне значимости α=0,05.

Таблица 2

В результате проведенного исследования был сделан вывод, что распределение тестовых баллов во всех группах является нормальным.

Дифференцирующая способность теста

Для оценки дифференцирующей способности теста, т.е. возможности разделять при помощи набранного тестового балла учащихся с различным уровнем подготовки, используется отношение математического ожидания к стандартному отклонению. Дифференцирующая способность теста считается удовлетворительной, если указанное отношение около 3 или больше ^[6].

Таблица 3

Данные в таблице 3 указывают на достаточно высокую дифференцирующую способность теста. По приведенным данным, видно распределение исследуемых групп по двум: группы первого курса и группы второго курса. Поэтому дальнейшее оценивание - выставление оценки по полученным данным проводились для каждой из этих групп.

Шкалы оценивания

В таблицах 4 и 5 в столбцах 5 и 6 приведены соответствия значений 16-бальной системы с использованием нормализации в четырехбальную систему (от 2 до 5).

Согласно поставленной цели, а именно, проведение защиты четырех работ в тестовом варианте, при оценивании каждая тема рассматривается отдельно. Результатом каждой темы является бал той же четырехбальной шкалы. Соответственно 1 и 2 столбец. Тема считается освоенной и соответственно защищенной, если решены три или более задач. С учетом этого положения результат по всему тесту корректировался, т.е. результирующая оценка вычислялась с учетом сданных тем. Данные приведены соответственно в 3 и 4 столбцах таблиц.

Таблица 4

Шкалы оценивания: первый курс

Таблица 5

Шкалы оценивания: второй курс

По приведенным результатам видно, что для второго курса диапазон низких баллов смещается с большую сторону. Также сужается диапазон хорошей оценки, что согласуется с рекомендациями, изложенными в работе [10 с.151, 21].

Исследование критерия усвоения темы

Критерием усвоения -й темы будем считать отношение числа испытуемых решивших три и более задач из -й темы, к общему числу испытуемых. Соответственно критерием характеризующим не усвоения -й темы назовем число равное - отношение числа менее трех задач из темы к общему числу испытуемых.

Данные критерии всех 4 тем определялись по результатам тестирования отдельно в каждой группе испытуемых. Среднее значение простоты заданий в группе равно отношению среднего числа выполненных заданий к объему теста ; среднее значение сложности . В исследуемом тесте

Таблица 6

Критерии усвоения тем

По результатам таблицы 6 видно, что темы 1 - 3 усвоены на достаточном уровне. Результаты усвоения темы 4 ниже. Анализ учебного материала показывает, что первые три темы взаимосвязаны между собой, тем и обуславливается высокая их усвояемость.

Средняя корреляция тем между собою подтверждает этот вывод.

Согласно рекомендациям В.С.Аванесова ^{[6, 10 с. 118]} корреляция тем друг с другом не должна быть слишком высокой (≤0,3), иначе темы начинают дублировать друг друга.

Средняя корреляция результатов по заданию и индивидуальными баллами составляет:

Данный результат также согласуются с рекомендациями В.С.Аванесова (≥0,5).

Выводы

В результате данного исследования было сделано несколько выводов. Первое. Проведенное тестирование студентов показало о недостаточности проработки четвертой темы при существующем подходе и необходимости разработки дополнительных заданий с целью организации более тесного взаимодействия с темами курса.

Главным результатом проведенной работы является выработка технологии проведения тестирования для защиты работ по Информатике, которая представлена в виде алгоритма. Его этапы включают: формирование заданий, проведение тестирования, статистическая обработка с проверкой гипотезы о нормальном распределении, получения шкал оценок и анализ усвояемости материала.

Все этапы, кроме формирования самих заданий, осуществляются в автоматизированном виде с помощью макросов Excel. В качестве дальнейшего развития предполагается полностью компьютеризировать весь процесс без потери его методологических достоинств для распространения на дистанционное обучение.