Тест- это система специально разработанных и структурированных кратких вопросов и заданий, с ограничением времени выполнения всего набора заданий и предназначенных для установления различного типа характеристик обучения и преподавания предмета.
Требования к тестам как измерительному инструменту содержат требования к показателям качества тестов и требования к их оснащению.
В презентации рассмотрены основные правила разработки качественных тестов по информатике.
Правила разработки
Правила разработки
качественных тестов
качественных тестов
по
по
информатике
информатике
Борисов В.А.
Борисов В.А.
КАСК – филиал ФГБОУ ВПО РАНХ и
КАСК – филиал ФГБОУ ВПО РАНХ и
ГСГС
Красноармейск 2012 г.
Красноармейск 2012 г.
Тест (от test, англ. —
Тест (от test, англ. —
испытание или
испытание или
проверка)
проверка)
Система специально разработанных и
структурированных кратких вопросов
и заданий, с ограничением времени
выполнения всего набора заданий и
предназначенных для установления
различного типа характеристик
обучения и преподавания предмета.
3
Тестовые задания
Тестовые задания
Учебные ситуации с ограничением
ресурсов, для которых тестируемый
должен выбрать наиболее
подходящий, на его взгляд, вариант
ответа на тот или иной ситуационный
вопрос из предложенных ему
вариантов или же сам
сконструировать такой вариант.
4
Педагогическое
Педагогическое
тестирование
тестирование
Подготовка качественных тестов,
комфортных условий для тестирования,
проведение тестирования и
последующие, основанные на
результатах тестирования
идентификация и анализ уровня
подготовки как отдельного
тестируемого, так и всей группы
тестируемых.
5
Правила
Правила
разработки
разработки
качественных
качественных
тестов
тестов
6
Правило 1.
Правило 1.
Тест должен быть валидным.
7
Валидность
Валидность
Мера соответствия теста
измеряемым знаниям, умениям и
навыкам, для проверки которых был
разработан тест, мера соответствия
стандартам и программам обучения,
а также результатам тестирования.
8
Правило 2.
Правило 2.
Тест должен иметь необходимый
и достаточный уровень
сложности.
9
Сложность
Сложность
Мера умственных усилий,
требуемых для выбора ответа.
10
Правило 3.
Правило 3.
Тест должен быть объективным и
надежным.
11
Надежность
Надежность
Мера правильности и адекватности
отражения тестом уровня знаний
студентов.
12
Правило 4.
Правило 4.
Тест должен быть устойчивым и
шкалируемым.
13
Устойчивость теста
Устойчивость теста
Мера сохранения надежности и
валидности при переносе теста в
другую, аналогичную среду, мера
равнозначности и однородности
тестов для различных групп
студентов.
14
Шкалирование теста
Шкалирование теста
Способность теста отображать
результаты учебных достижений в
некоторой задаваемой системе
оценок или баллов.
15
Правило 5.
Тест должен быть
репрезентативным.
16
Репрезентативность
Репрезентативность
теста
теста
Мера полноты охвата заданиями
учебного материала, программы,
отражения тестами различных
уровней обучения.
17
Правило 6.
Правило 6.
Тест должен быть значимым и
дискриминантным.
18
Значимость теста
Значимость теста
Мера необходимости, актуальности
включения в тест ключевых знаний.
19
Дискриминантность
Дискриминантность
теста
теста
Мера дифференциации тестируемых
относительно максимального или
минимального уровня обучения.
20
Правило 7.
Правило 7.
Тест должен быть достоверным,
научным, непротиворечивым.
21
Достоверность,
Достоверность,
научность,
научность,
непротиворечивость
непротиворечивость
теста
теста
согласованности, соответствия
современному состоянию науки и
технологии, методике обучения.
Мера истинности теста,
22
Правило 8.
Правило 8.
Тест должен быть разработан
преподавателем-методистом в
полном соответствии с
требованиями тестологии.
23
Правило 9.
Правило 9.
Тестовое задание должно быть
сформулировано ясно и четко, не
допускать двусмысленного
толкования и способствовать
формулированию правильного
ответа.
24
Правило 10.
Правило 10.
Каждое задание теста должно
быть функционально
завершенным.
25
Правило 11.
Правило 11.
Принцип подбора тестовых
заданий и сами тестовые задания
должны быть информативными
на всем диапазоне изменения
уровня сложности, а не только на
отдельных его участках.
26
Правило 12.
Правило 12.
Желательно использовать
простую, но грамматически
правильную утвердительную
форму задания в виде одного
предложения из 5—20 слов.
27
Правило 13.
Правило 13.
Как можно реже использовать слова
типа «иногда», «часто», «всегда»,
«все», «никогда», «большой»,
«небольшой», «малый», «много»,
«меньше», «больше» и грамматичес-кие
обороты типа «Почему не может не...»,
«Правда ли, что ...», «Возмож-но ли...»,
двойные отрицания, исклю-чающее
«или», отрицания кванторов и т. д.
28
Правило 14.
Правило 14.
Желательно строить ответы
одинаковой формы и длины.
29
Правило 15.
Правило 15.
Количественные ответы
желательно упорядочивать по
возрастанию или убыванию, а
если ответы легко вычислить, то
первым не должен быть указан
правильный ответ.
30
Правило 16.
Правило 16.
Необходимо исключить
возможность выбора
правильного ответа интуитивно и
ассоциативно, догадкой,
вербально, а место правильного
ответа выбрать случайно.
31
Правило 17.
Правило 17.
Ответы должны быть
независимы, одинаково
привлекательны для выбора, а
влияние вероятности угадывания
правильного ответа на общий
результат тестирования должно
быть как можно меньше.
32
Правило 18.
Правило 18.
Если тестовое задание
специально рассчитано на
понимание аббревиатур и
сокращений, то в условии и
дистракторах тестового задания
они могут присутствовать.
33
Правило 19.
Правило 19.
В каждом задании количество
дистракторов должно быть от 3
до 5.
34
Правило 20.
Правило 20.
При подстановке любого
варианта ответа условие не
должно принимать
неопределенное значение.
35
Правило 21.
Правило 21.
Все дистракторы должны быть
подобраны грамотно, умело, без
подвохов, но не произвольно, а в
соответствии с типовыми
ошибками, допускаемыми по
данному заданию.
36
Правило 22.
Правило 22.
Ни один дистрактор не
становится правильным ответом
при изменении допустимых
условий задания.
37
Правило 23.
Правило 23.
Повторяющиеся слова и
словосочетания в ответах
должны быть исключены и
перенесены в основную часть
условия.
38
Правило 24.
Правило 24.
Из ответа к одному тестовому
заданию нельзя получать каким-
либо образом ответ к другому
заданию.
39
Правило 25.
Правило 25.
Если возможно построение
качественного тестового задания
закрытой формы, то желательно
использование этой формы.
40
Правило 26.
Правило 26.
Если достаточно использования
качественного мономорфного
тестирования, то нет
необходимости использовать
полиморфное.
41
Правило 27.
Правило 27.
Если достаточно гомогенных
тестов, нет необходимости
использовать гетерогенные.
42
Правило 28.
Правило 28.
Задание должно быть
детерминированным.
43
Правило 29.
Правило 29.
Ни при каких условиях задание
не должно предполагать знаний,
выходящих за пределы учебного
материала, программы.
44
Правило 30.
Правило 30.
Количество тестовых заданий в
тесте должно составить 30—50.
45
Правило 31.
Правило 31.
Количество заданий в базе
данных тестовых заданий
должно быть примерно в 10—20
раз больше длины теста.
46
Правило 32.
Правило 32.
Среднее время тестирования
должно составлять 60—90 минут.
47
Правило 33.
Правило 33.
Большинство заданий в тесте
должны иметь закрытую форму.
48
Правило 34.
Правило 34.
Тест должен состоять из
минимального количества
заданий, достаточных для
полного определения уровня
обучения.
49
Правило 35.
Правило 35.
Задания в тесте должны быть
упорядочены по возрастанию
уровня сложности.
50
Правило 36.
Правило 36.
Оценку результатов
тестирования лучше производить
баллами.
51
Правило 37.
Правило 37.
Любое тестирование должно
заканчиваться не только
выставлением оценок, но и
анализом результатов
тестирования, выявлением
уровня обучения и качества
тестов.
52
Правило 38.
Правило 38.
Необходимо принимать меры к
минимизации
«привлекательности»
использования шпаргалок,
списывания и подбора.
53
Правило 39.
Правило 39.
Сложность теста нельзя
«повышать» введением
множества дополнительных фраз
в постановку вопроса в тестовом
задании.
54
Правило 40.
Правило 40.
При формировании тестов
полезно проводить адаптивное
тестирование.
55
Правило 41.
Правило 41.
При определении структуры
теста важно использовать
статистические методы
определения пороговых
значений.
56
Правило 42.
Правило 42.
Если тестирование проводится в
системе оценок с двумя
вариантами ответов, то и
результат тестирования должен
быть оценен в полярной шкале:
«зачет — не зачет», «аттестован
— не аттестован», «сдан — не
сдан».
57
Правило 43.
Правило 43.
Студенты, имеющие одинаковый
и достаточный опыт работы с
тестами, должны быть помещены
в одинаковую операционную
обстановку.
58
Правило 44.
Правило 44.
Только грамотные, интересные
вопросы и ситуации могут
вызывать у студента стремление
ответить, а не подобрать ответ.
59
Правило 45.
Правило 45.
Если при оценке результатов
тестирования используются
баллы, то их число должно быть
нечетным.
60
Система
Система
количественных и
количественных и
качественных оценок
качественных оценок
0 баллов — уровень полной неподготовленности
1 балл — сильно выраженный отрицательный
(2);
уровень подготовки (2);
2 балла — выраженный отрицательный уровень
подготовки (2);
(2);
3 балла — отрицательный уровень подготовки
4 балла — слабо выраженный отрицательный
уровень подготовки (2);
61
Система
Система
количественных и
количественных и
качественных оценок
качественных оценок
5 баллов — слабо выраженный положительный
6 баллов — положительный уровень подготовки
уровень подготовки (3);
7 баллов — хороший уровень подготовки (4);
8 баллов — очень хороший уровень подготовки
(3);
(4);
9 баллов — высокий уровень подготовки (5);
10 баллов — очень высокий уровень подготовки
(5).
62
Правило 46.
Правило 46.
В тестировании необходимо
широко использовать
делегирование решения
проблемы тестирования
специалистам —
профессионалам в области
тестологии и технологии
тестирования.
63
Ресурсы
Ресурсы
2004.
http://www.ege.edu.ru
•
64
•
•
•
•
•
Аванесов В. С. Научные основы тестового контроля знаний. М.:Исследовательский
центр, 1994.
Батаршева А. В. Тестирование. М.: Дело, 1999.
Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования: Программно-
дидактическое тестовое задание. М.: МГУП, 2002.
Казиев В. М., Казиев К. В. Правила практического педагогического тестирования (с
примерами по информатике), // Информатика и образование. 2005. № 9.
Клайн П. Справочное руководство по конструированию тестов: Введение в
психометрическое проектирование. К.: ПАН Лтд., 1994.
• Майоров А. Н. Теория и практика создания тестов для системы образования. М.:
Интеллект-центр, 2001.
• Макарова Н. В. Информатика. 10—11 классы. СПб.: Питер, 2005.
• Макарова Н. В., Николайчук Г. С., Титова Ю. Ф. Информатика и информационно-
коммуникационные технологии. 10—11 классы. Базовый уровень. СПб.: Питер, 2005.
• Машбиц Е. И. Психолого-педагогические проблемы компьютеризации обучения. М.:
Педагогика, 1988.
Талызина Н. Ф. Теоретические основы контроля в учебном процессе. М.: Знание, 1983.
Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.:
Логос, 2002.
•
•
• Поспелов Д. А. Информатика: Энциклопедический словарь для начинающих. М.:
Педагогика-Пресс, 1994.
Ефимова О. В., Морозов В. В., Угринович Н. Д. Курс компьютерной технологии с
основами информатики: Учебное пособие для старших классов. М.: ABF, 1999.
•
• Шауцукова Л. 3. Информатика: Учебное пособие для 10—11 классов. М.: Просвещение,
Правила разработки тестов.ppt
