Презентация "Правила разработки качественных тестов по информатике"

Правила разработки  Правила разработки  качественных тестов       качественных тестов                    по               по  информатике информатике Борисов В.А. Борисов В.А. КАСК – филиал ФГБОУ ВПО РАНХ и  КАСК – филиал ФГБОУ ВПО РАНХ и  ГСГС Красноармейск  2012 г. Красноармейск  2012 г.

Введение Введение 2

Тест (от test, англ. — Тест (от test, англ. — испытание или испытание или проверка) проверка)  Система специально разработанных и структурированных кратких вопросов и заданий, с ограничением времени выполнения всего набора заданий и предназначенных для установления различного типа характеристик обучения и преподавания предмета. 3

Тестовые задания Тестовые задания  Учебные ситуации с ограничением ресурсов, для которых тестируемый должен выбрать наиболее подходящий, на его взгляд, вариант ответа на тот или иной ситуационный вопрос из предложенных ему вариантов или же сам сконструировать такой вариант. 4

Педагогическое Педагогическое тестирование тестирование  Подготовка качественных тестов, комфортных условий для тестирования, проведение тестирования и последующие, основанные на результатах тестирования идентификация и анализ уровня подготовки как отдельного тестируемого, так и всей группы тестируемых. 5

Правила Правила разработки разработки качественных качественных тестов тестов 6

Правило 1. Правило 1.  Тест должен быть валидным. 7

Валидность Валидность  Мера соответствия теста измеряемым знаниям, умениям и навыкам, для проверки которых был разработан тест, мера соответствия стандартам и программам обучения, а также результатам тестирования. 8

Правило 2. Правило 2.  Тест должен иметь необходимый и достаточный уровень сложности. 9

Сложность Сложность  Мера умственных усилий, требуемых для выбора ответа. 10

Правило 3. Правило 3.  Тест должен быть объективным и надежным. 11

Надежность Надежность  Мера правильности и адекватности отражения тестом уровня знаний студентов. 12

Правило 4. Правило 4.  Тест должен быть устойчивым и шкалируемым. 13

Устойчивость теста Устойчивость теста  Мера сохранения надежности и валидности при переносе теста в другую, аналогичную среду, мера равнозначности и однородности тестов для различных групп студентов. 14

Шкалирование теста Шкалирование теста  Способность теста отображать результаты учебных достижений в некоторой задаваемой системе оценок или баллов. 15

Правило 5.  Тест должен быть репрезентативным. 16

Репрезентативность Репрезентативность теста теста  Мера полноты охвата заданиями учебного материала, программы, отражения тестами различных уровней обучения. 17

Правило 6. Правило 6.  Тест должен быть значимым и дискриминантным. 18

Значимость теста Значимость теста  Мера необходимости, актуальности включения в тест ключевых знаний. 19

Дискриминантность Дискриминантность теста теста  Мера дифференциации тестируемых относительно максимального или минимального уровня обучения. 20

Правило 7. Правило 7.  Тест должен быть достоверным, научным, непротиворечивым. 21

Достоверность, Достоверность, научность, научность, непротиворечивость непротиворечивость теста теста согласованности, соответствия современному состоянию науки и технологии, методике обучения.  Мера истинности теста, 22

Правило 8. Правило 8.  Тест должен быть разработан преподавателем-методистом в полном соответствии с требованиями тестологии. 23

Правило 9. Правило 9.  Тестовое задание должно быть сформулировано ясно и четко, не допускать двусмысленного толкования и способствовать формулированию правильного ответа. 24

Правило 10. Правило 10.  Каждое задание теста должно быть функционально завершенным. 25

Правило 11. Правило 11.  Принцип подбора тестовых заданий и сами тестовые задания должны быть информативными на всем диапазоне изменения уровня сложности, а не только на отдельных его участках. 26

Правило 12. Правило 12.  Желательно использовать простую, но грамматически правильную утвердительную форму задания в виде одного предложения из 5—20 слов. 27

Правило 13. Правило 13.  Как можно реже использовать слова типа «иногда», «часто», «всегда», «все», «никогда», «большой», «небольшой», «малый», «много», «меньше», «больше» и грамматичес-кие обороты типа «Почему не может не...», «Правда ли, что ...», «Возмож-но ли...», двойные отрицания, исклю-чающее «или», отрицания кванторов и т. д. 28

Правило 14. Правило 14.  Желательно строить ответы одинаковой формы и длины. 29

Правило 15. Правило 15.  Количественные ответы желательно упорядочивать по возрастанию или убыванию, а если ответы легко вычислить, то первым не должен быть указан правильный ответ. 30

Правило 16. Правило 16.  Необходимо исключить возможность выбора правильного ответа интуитивно и ассоциативно, догадкой, вербально, а место правильного ответа выбрать случайно. 31

Правило 17. Правило 17.  Ответы должны быть независимы, одинаково привлекательны для выбора, а влияние вероятности угадывания правильного ответа на общий результат тестирования должно быть как можно меньше. 32

Правило 18. Правило 18.  Если тестовое задание специально рассчитано на понимание аббревиатур и сокращений, то в условии и дистракторах тестового задания они могут присутствовать. 33

Правило 19. Правило 19.  В каждом задании количество дистракторов должно быть от 3 до 5. 34

Правило 20. Правило 20.  При подстановке любого варианта ответа условие не должно принимать неопределенное значение. 35

Правило 21. Правило 21.  Все дистракторы должны быть подобраны грамотно, умело, без подвохов, но не произвольно, а в соответствии с типовыми ошибками, допускаемыми по данному заданию. 36

Правило 22. Правило 22.  Ни один дистрактор не становится правильным ответом при изменении допустимых условий задания. 37

Правило 23. Правило 23.  Повторяющиеся слова и словосочетания в ответах должны быть исключены и перенесены в основную часть условия. 38

Правило 24. Правило 24.  Из ответа к одному тестовому заданию нельзя получать каким- либо образом ответ к другому заданию. 39

Правило 25. Правило 25.  Если возможно построение качественного тестового задания закрытой формы, то желательно использование этой формы. 40

Правило 26. Правило 26.  Если достаточно использования качественного мономорфного тестирования, то нет необходимости использовать полиморфное. 41

Правило 27. Правило 27.  Если достаточно гомогенных тестов, нет необходимости использовать гетерогенные. 42

Правило 28. Правило 28.  Задание должно быть детерминированным. 43

Правило 29. Правило 29.  Ни при каких условиях задание не должно предполагать знаний, выходящих за пределы учебного материала, программы. 44

Правило 30. Правило 30.  Количество тестовых заданий в тесте должно составить 30—50. 45

Правило 31. Правило 31.  Количество заданий в базе данных тестовых заданий должно быть примерно в 10—20 раз больше длины теста. 46

Правило 32. Правило 32.  Среднее время тестирования должно составлять 60—90 минут. 47

Правило 33. Правило 33.  Большинство заданий в тесте должны иметь закрытую форму. 48

Правило 34. Правило 34.  Тест должен состоять из минимального количества заданий, достаточных для полного определения уровня обучения. 49

Правило 35. Правило 35.  Задания в тесте должны быть упорядочены по возрастанию уровня сложности. 50

Правило 36. Правило 36.  Оценку результатов тестирования лучше производить баллами. 51

Правило 37. Правило 37.  Любое тестирование должно заканчиваться не только выставлением оценок, но и анализом результатов тестирования, выявлением уровня обучения и качества тестов. 52

Правило 38. Правило 38.  Необходимо принимать меры к минимизации «привлекательности» использования шпаргалок, списывания и подбора. 53

Правило 39. Правило 39.  Сложность теста нельзя «повышать» введением множества дополнительных фраз в постановку вопроса в тестовом задании. 54

Правило 40. Правило 40.  При формировании тестов полезно проводить адаптивное тестирование. 55

Правило 41. Правило 41.  При определении структуры теста важно использовать статистические методы определения пороговых значений. 56

Правило 42. Правило 42.  Если тестирование проводится в системе оценок с двумя вариантами ответов, то и результат тестирования должен быть оценен в полярной шкале: «зачет — не зачет», «аттестован — не аттестован», «сдан — не сдан». 57

Правило 43. Правило 43.  Студенты, имеющие одинаковый и достаточный опыт работы с тестами, должны быть помещены в одинаковую операционную обстановку. 58

Правило 44. Правило 44.  Только грамотные, интересные вопросы и ситуации могут вызывать у студента стремление ответить, а не подобрать ответ. 59

Правило 45. Правило 45.  Если при оценке результатов тестирования используются баллы, то их число должно быть нечетным. 60

Система Система количественных и количественных и качественных оценок качественных оценок  0 баллов — уровень полной неподготовленности  1 балл — сильно выраженный отрицательный (2); уровень подготовки (2);  2 балла — выраженный отрицательный уровень подготовки (2); (2);  3 балла — отрицательный уровень подготовки  4 балла — слабо выраженный отрицательный уровень подготовки (2); 61

Система Система количественных и количественных и качественных оценок качественных оценок  5 баллов — слабо выраженный положительный  6 баллов — положительный уровень подготовки уровень подготовки (3);  7 баллов — хороший уровень подготовки (4);  8 баллов — очень хороший уровень подготовки (3); (4);  9 баллов — высокий уровень подготовки (5);  10 баллов — очень высокий уровень подготовки (5). 62

Правило 46. Правило 46.  В тестировании необходимо широко использовать делегирование решения проблемы тестирования специалистам — профессионалам в области тестологии и технологии тестирования. 63

Ресурсы Ресурсы 2004. http://www.ege.edu.ru • 64 • • • • • Аванесов В. С. Научные основы тестового контроля знаний. М.:Исследовательский центр, 1994. Батаршева А. В. Тестирование. М.: Дело, 1999. Васильев В. И., Тягунова Т. Н. Культура компьютерного тестирования: Программно- дидактическое тестовое задание. М.: МГУП, 2002. Казиев В. М., Казиев К. В. Правила практического педагогического тестирования (с примерами по информатике), // Информатика и образование. 2005. № 9. Клайн П. Справочное руководство по конструированию тестов: Введение в психометрическое проектирование. К.: ПАН Лтд., 1994. • Майоров А. Н. Теория и практика создания тестов для системы образования. М.: Интеллект-центр, 2001. • Макарова Н. В. Информатика. 10—11 классы. СПб.: Питер, 2005. • Макарова Н. В., Николайчук Г. С., Титова Ю. Ф. Информатика и информационно- коммуникационные технологии. 10—11 классы. Базовый уровень. СПб.: Питер, 2005. • Машбиц Е. И. Психолого-педагогические проблемы компьютеризации обучения. М.: Педагогика, 1988. Талызина Н. Ф. Теоретические основы контроля в учебном процессе. М.: Знание, 1983. Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. • • • Поспелов Д. А. Информатика: Энциклопедический словарь для начинающих. М.: Педагогика-Пресс, 1994. Ефимова О. В., Морозов В. В., Угринович Н. Д. Курс компьютерной технологии с основами информатики: Учебное пособие для старших классов. М.: ABF, 1999. • • Шауцукова Л. 3. Информатика: Учебное пособие для 10—11 классов. М.: Просвещение,