Министерство образования и науки Российской Федерации

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Владимирский государственный университет

имени Александра Григорьевича и Николая Григорьевича Столетовых»

Е.В. ЛОПАТКИНА 

СОВРЕМЕННЫЕ СРЕДСТВА 

ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ  ОБУЧЕНИЯ

Учебное пособие

Владимир 2012

УДК 378.1

ББК 74.489.4

         Л77

Рецензенты: 

Профессор, доктор педагогических наук, зав. кафедрой педагогики Педагогического института

Владимирского государственного университета

имени Александра Григорьевича и Николая Григорьевича Столетовых

Е.Н. Селивёрстова

Кандидат педагогических наук, 

зав кафедрой естественно-математического образования

Государственного автономного образовательного учреждения дополнительного профессионального образования (ГАОУ ДПО)

«Владимирский институт повышения квалификации работников образования имени Л. И. Новиковой»

Е.И. Антонова

Печатается по решению редакционно-издательского совета ВлГУ

Лопаткина, Е.В. 

Л77 Современные средства оценивания результатов обучения : учеб. пособие / Е.В. Лопаткина ; Владим. гос. ун-т имени Александра Григорьевича и Николая Григорьевича Столетовых. – Владимир : Изд-во ВлГУ, 2012.  –  110 с.

ISBN 978-5-9984-0209-8

Посвящается проблемам педагогических измерений и теории тестов. Содержит теоретические положения и практические задания, раскрывающие сущность инновационных процессов системы оценивания, современные направления и возможности системы контроля и оценки результатов обучающихся в сфере образования, технологии  оценивания учебных достижений и методики тестирования. 

Адресовано студентам 5-го курса очной формы обучения педагогических университетов и институтов направления 050100 – педагогическое образование (бакалавриат), а также слушателям системы повышения квалификации и переподготовки педагогических кадров.

Рекомендовано для формирования профессиональных компетенций в соответствии с ФГОС 3-го поколения.

Ил. 4. Табл. 4. Библиогр.: 59 назв.

УДК 378.1  

ББК 74.489.4 ISBN 978-5-9984-0209-8                       © ВлГУ, 2012

ПРЕДИСЛОВИЕ

Решение проблемы повышения качества подготовки учащихся невозможно без его измерения: «Пытаться открывать законы и строить модели различных процессов и явлений, пока нет надежных и строго обоснованных методов измерений управляющих ими фактов, – занятие совершенно бессмысленное и бесполезное, как бы полученные законы и модели не были стройны и изящны»^[1]. 

Благодаря измерениям можно определить, насколько учебные достижения соответствуют целям обучения. «Лишь подкрепив качественный, содержательный анализ тех или иных объектов и явлений обоснованными и надежными измерениями, можно обеспечить педагогов-практиков, ученых, методистов, руководителей… объективной научной информацией», – отмечает Н.М. Розенберг^[2]. Измерение степени соответствия качества подготовки учащихся требованиям федеральных государственных образовательных стандартов – всего лишь первый шаг на пути к созданию системы управления качеством подготовки выпускников всех образовательных ступеней. 

Анализ работ по проблеме педагогических измерений позволил сделать вывод о том, что отечественными и зарубежными учеными созданы инструментарии, способные точно и объективно измерить качество подготовки учащихся. Объективность и измеримость качества подготовки открывают широкие возможности для управления образовательным процессом, выявления еще в раннем возрасте одарённых детей и подростков, повышения объективности конкурсного отбора поступающих в высшие и другие учебные заведения. Стремление дать объективную количественную оценку знаний сопряжено с поисками надежных методов, форм – инструментов для измерения результатов обучения.

Традиционные методы диагностики, используемые педагогами для измерения качества учебных достижений учащихся, нацелены на выявление уровня знаний, навыков и умений решения типовых задач. Инновационные приёмы педагогической диагностики, получающие всё более широкое распространение среди педагогов, ориентированы на выявление и оценку уровня компетентности, образованности, готовности к решению творческих и практических задач. 

Данное учебное пособие разработано в соответствии с Федеральными государственными образовательными стандартами высшего профессионального образования третьего поколения по направлению 050100 – педагогическое образование (бакалавриат). Дисциплина «Современные средства оценивания результатов обучения» входит в блок общепрофессиональных дисциплин, завершающих базовое профессиональное обучение. Предлагаемая учебная дисциплина поможет будущим педагогам в активной форме сделать первые шаги в рассмотрении проблем управления качеством образования, познакомиться с работами по созданию методик и инструментария для оценки ключевых компетентностей и принять в них активное участие. 

Основная цель курса – формирование у студентов общекультурных и профессиональных компетенций, способствующих усвоению основ знаний об инновациях в системе оценивания результатов обучения, приоритетных направлениях модернизации системы оценивания и заинтересовать студентов творческим поиском оптимальных путей по созданию междисциплинарных (комплексных) измерителей, требующих использования при оценке результатов обучения специальных методов интеграции оценок отдельных характеристик обучающихся. 

Среди задач курса особо необходимо выделить следующие:

ƒ    знакомство студентов со стратегией управления качеством образования, историей развития тестирования, основными направлениями обновления системы оценки качества школьного образования;

ƒ    освоение студентами категориально-понятийного аппарата педагогических измерений и теории тестов;

ƒ    усвоение студентами инновационных стратегий оценивания учебных достижений учащихся;

ƒ    овладение методикой разработки тестовых заданий и проведения тестирования школьников.

Данное учебное пособие обеспечивает содержательное, методическое и организационное наполнение учебной дисциплины «Современные средства оценивания результатов обучения». Оно знакомит с научной организацией системы педагогического контроля на базе современной тестовой технологии и позволяет в должной мере подготовить студентов к её применению. Главная задача пособия – стимулировать студентов к самостоятельному получению необходимых знаний, способствовать развитию личностно значимых практических умений и навыков. Для этого в нём выстроена особая система подачи теоретического материала, опережающая самостоятельная деятельность обучающихся по освоению и присвоению основных положений курса. Структурирование теоретического и практического материала является, по сути, первым опытом рассмотрения автором проблем креативного обучения на уровне вузовских учебных пособий.

Успешное изучение дисциплины «Современные средства оценивания результатов обучения» предполагает выполнение определенных условий. На лекциях для повышения степени усвоения учебного материала рекомендуется широкое использование мультимедийных технологий обучения. Теоретический материал требует закрепления в процессе анализа эффективности получаемых результатов по обновлению контрольно-оценочной системы в школе и вузе  и обсуждения программного материала на лабораторных занятиях. Материалы, предлагаемые в пособии, проверены на практике. В течение пяти лет они использовались для чтения лекций и проведения лабораторных занятий на физико-математическом факультете. Опыт подтвердил эффективность применяемых технологий обучения и оценивания результатов освоения учебной дисциплины «Современные средства оценивания результатов обучения».

Автор выражает искреннюю благодарность рецензентам пособия: профессору, доктору педагогических наук Елене Николаевне Селивёрстовой; кандидату педагогических наук Елене Ивановне Антоновой. Слова особой признательности автор адресует доценту Владимиру Павловичу Покровскому за неоценимую помощь в апробировании материалов и подготовке к изданию. 

Читателям автор пособия желает творческого полёта в освоении современных средств оценивания результатов обучения.

Глава 1

ПОНЯТИЕ «КАЧЕСТВО ОБРАЗОВАНИЯ».

ОЦЕНКА КАК ЭЛЕМЕНТ УПРАВЛЕНИЯ КАЧЕСТВОМ

         Важно не количество знаний,  а качество их. Можно знать очень  многое, не зная самого нужного.

                                                                                                                                     Л. Н. Толстой

Практическое задание: предположите свойства качества обучения школьников, если образование рассматривать  как сферу особых образовательных услуг.

Теоретическое задание: изучите основные виды мониторинга с целью подготовки пакета документации для проведения одного из них на базе основной школы.

План лекции:

1.1. Понятие «качество образования».

1.2. Оценка как элемент управления качеством.

1.3. Общероссийская система оценки качества образования (ОСОКО). 1.4. Мониторинг как основной принцип современной оценки результатов обучения.

1.1. Понятие «качество образования»

В любой сфере деятельности стремятся достичь максимально возможного качества этой деятельности. Главный приоритет качества образования нашел своё выражение в национальной доктрине российского образования^[3]. Одна из задач модернизации образо-

вания: достижение нового, современного качества дошкольного, общего и профессионального образования. Государственный заказ  – создание условий для развития свободной, мыслящей, деятельной, социально-адаптированной личности, получившей качественное общее образование^[4].

Рассмотрение понятия «качество образования» как феномена

педагогической науки и прак-

Этимология. Слово «качество» произве-

тики требует обращения ко          дено от слов «как» и «какой», т.е. облавсему спектру его определе-     дающий какими-то свойствами  ний. В зависимости от контек-         (Фасмер Макс. Этимологический словарь русскогоязыка (онлайн версия).

ста     употребления     понятия

«образование»  оно может выражать: общественное явление, социальную и индивидуальную ценность, функцию общества, сложную систему, сферу социальной жизнедеятельности, процесс, результат

                                                                                                                   образовательного      процесса,

Философское значение. Качество не несет

в себе оценок, а лишь фиксирует в себе потребности личности, общеналичие определенных свойств объекта ства. Каково бы ни было толили явления, отличающих их от других кование названного понятия,

(т.е. качество связано с предметом, объек-

том или процессом как целым).                           приведённые аспекты значения «образования» в боль-

шинстве случаев имеют инвариант – направленность на становление, формирование и развитие личности, т.е. направленность образования на удовлетворение социальных, культурных, экономических и других потребностей личности, семьи, общества, государства в целом. 

Современный этап развития теории и практики управления качеством образования характеризуется доминирующей идеей – отказ от традиционного подхода, при котором управление образовательным процессом осуществлялось по оценкам конечного результата. Новизна современного подхода выражена через ориентированность на создание всеобщей системы управления качеством образования, предусматривающей регулирование процесса на основании оценивания его состояния по специально выделенным критериям качества для всех компонентов самого процесса, а также факторов, оказывающих влияние на конечный результат. 

Проблема выявления критериев на-

Что понимают под правляет исследователей на анализ  качеством в образовании? многообразия подходов к пониманию «качества образования» и приводит их к богатой палитре опреде-

лений феномена «качество образования» (табл. 1).

Таблица 1

Различные подходы  к определению понятия «качество образования»

В современном подходе к содержанию качества образования основным критерием выступает степень удовлетворения потребностей личности и общества, соответствия запросам личности, обществу.

Такой подход опирается на оп-

Какими свойствами должно ределение качества образования обладать качество образова-

ния в соответствии с совре- как способности удовлетворять менной теорией управления? запросам потребителей и субъектов образовательного процесса. Используя выше обозначен-

ное толкование «качества образования», становится возможным выделение таких его характеристик как  многоаспектность, многоуровневость, многосубъектность, многокритериальность, полихронностъ, неопределенность, инвариантность и вариативность.

Раскрывая смысл многоаспектности (многогранности) качества, обращают внимание на качество конечного результата образования и качество потенциала образовательных систем, обеспечивающих достижение этого качества; качество результатов воспитания и обучения. Характеризуя многоуровневость конечных результатов качества, выделяют качества выпускников и описывают их портреты^[5]. Многосубъектность понимают как осуществление оценки множеством субъектов: самими обучаемыми, их родителями; работодателями; обществом в целом и государственными органами; самой системой образования; исследователями системы образования (эти же субъекты по регионам, стране, а в международной системе образования – её разных уровней). Многокритериальность – качество образования оценивается с использованием набора критериев. Полихронностъ проявляется через сочетание тактических и стратегических аспектов качества образования, которые в разное время одними и теми же субъектами воспринимаются по-разному (например, выпускники в течение жизни, профессиональной деятельности со временем переоценивают качество полученного образования, ценностные составляющие отдельных учебных дисциплин и опыта преподавателей; общество и государство в зависимости от своего состояния пересматривают приоритеты в качестве и содержании образования и т.д.). Неопределенность отражается в оценках качества образования и образовательных систем из-за более высокого уровня субъективности оценки качества образования разными субъектами. Инвариантность и вариативность – среди множества качеств образовательных систем, учебных заведений, их выпускников выделяются инвариантные, общие качества для всех выпускников каждого уровня образования, каждой специальности или направления подготовки выпускников вузов и специфические (именно для данного множества выпускников или образовательных систем).

Весь комплекс перечисленных характеристик качества образования аккумулирует в себе проявление сложности категории «качество образования» и является инвариантным для любой страны.  

Рассматривая школьное образование как сферу особых образовательных услуг, представим на схеме основные этапы формирования и обеспечения его качества (схема 1). 

Схема 1

  Этапы обеспечения качества образования

       I этап                    II этап                          III этап

Итак, качество образования можно рассматривать как многомерное понятие. К раскрытию этого понятия целесообразно подходить с позиций процессного подхода, который принят при разработке системы менеджмента качества с целью повышения удовлетворенности потребителей путем выполнения их требований. 

1.2. Оценка как элемент управления качеством Стратегическое управление, теория и практика которого зародились в сфере бизнеса, определяется как «деятельность..., связанная с постановкой целей и задач ор-

Какое место занимает оценка ганизации и с поддержанием в системе управления  ряда взаимоотношений между качеством? организацией и окружением, которые дают возможность ей

добиться своих целей, соответствуют ее внутренним возможностям и позволяют оставаться восприимчивой к внешним требованиям»^[6].

Встречаются различающиеся по форме концептуальные модели стратегического управления в образовании. Наиболее распространена классическая модель, основанная на перманентном анализе внутренних сильных и слабых сторон, внешних угроз и возможностей, на выработке лаконичной и разделяемой миссии и четких политик и планов деятельности. Другим известным

Контроль – процедура получения

подходом можно назвать страте- информации о деятельности, ее регический менеджмент без опоры зультатах, т.е. процедура получения на данные, который позволяет вы- обратной связи.

строить линию поведения учреждения, отталкиваясь от видения идеала и путем осознания и преодоления препятствий на пути к нему.

Общей чертой для различных концепций стратегического менеджмента являются цикличность, итеративность выполнения основ-

ных этапов. При этом оценка,

Оценка – процесс соотнесения реаль-

ных результатов с планируемыми.  контроль качества занимают одно из центральных мест. С одной

стороны, оценка ситуации, её анализ всегда предшествуют этапу планирования деятельности, организации производственных процессов и реализации поставленных задач. С другой стороны, управленческий цикл завершается этапом оценки и основанного на ней анализа достижений и неудач, а также вызвавших их причин. Таким образом, определяя роль оценки в процессе управления, можно утверждать, что именно оценка и контроль качества обусловливают цикличность и непрерывность управления, что делает этот этап одним из самых важных.

Если оценка становится элементом Изменяется ли при  управления качества, то целью проветаком понимании оценки дения оценки не должно быть простое цель её проведения? выявление недостатков в работе и наказание за это. Главная задача этой процедуры – улучшение качества ра-

боты конкретного человека и через это достижение более широких целей – улучшение качества учебных программ, в которые вовлечены оцениваемые люди, и достижение нового качества работы всей организации в целом. При таком подходе серьёзное место отводится направлениям дальнейшей работы по повышению качества своей деятельности и человек из объекта процесса оценивания становится его субъектом, что запускает про-

цесс развития готовности к са- Отметка – результат оценки, ее усмооценке в будущем и её сфор- ловно-знаковое выражение (баллы –

количественная оценка, уровни оценимированность.          Мотивацией

вания – качественная оценка).  оценочной деятельности обязательно должно быть стремление к высокому качеству своей работы. Только такая мотивация гарантирует, что самооценка не превратится в подготовку формального отчета о своих достижениях, некоего одномоментного фото, цель которого – заслужить положительную оценку руководства. Самооценка должна представлять собой непрерывный, систематический процесс, в котором помимо представления количественных критериев (публикации, участие в конференциях и т.д.) должны быть представлены мнения и оценки коллег, студентов, руководителей, экспертов извне и др., должен присутствовать анализ собственных успехов и неудач как результат рефлексивной деятельности.

Выработка      принимаеСамооценка – это представление человека       мых и понимаемых критерио важности своей личной деятельности в      ев оценки также является одобществе и оценивание себя и собственных ним из важных моментов при

качеств, чувств, достоинств и недостатков,

выражение их открыто или закрыто.                     профессиональном подходе к осуществлению       процедуры

оценки. Безусловно, должен существовать определенный перечень общепризнанных характеристик и единых критериев оценки деятельности, однако в каждом конкретном образовательном учреждении, в зависимости от его специфики и миссии, приоритетность характеристик может быть различной, и этот список критериев открыт для дополнения.

1.3. Общероссийская система оценки качества образования

(ОСОКО)

Одно из направлений модернизации системы российского образования – совершенствование технологий обучения, средств и методов контроля и форм управления качеством образования. И современный этап развития обКак повлияли приоритетные  разования требует создания направления развития российско- общенациональной     систего образования на формирование          мы оценки качества обрасистемы оценки его качества?        зования и образовательных

программ. 

В России до недавнего времени к проблеме независимой оценки качества образования большинство участников этой сферы и всех уровней управления относились индифферентно. Обсуждение данного вопроса в течение почти десятка лет велось лишь небольшим профессиональным сообществом, связанным с проведением международных исследований по оценке качества образования, таких как PISA – мониторинг знаний и умений в новом тысячелетии или TIMSS – сравнительные исследования по оценке качества математического и естественнонаучного образования. Ситуация кардинально изменилась после начала эксперимента по введению единого государственного экзамена. Педагогическая общественность, руководители образовательных учреждений и управлений образованием стали испытывать потребность в получении независимой объективной информации об учебных достижениях обучающихся, о реальных показателях качества образования. 

В последнее время в стране начинает создаваться общероссийская система оценки качества образования (ОСОКО) как совокупность организационных и функциональных структур с единой концептуальнометодологической основой, обеспечивающих оценку образовательных достижений и

определение индивидуальных и личностных характеристик школьников и взрослых граждан, а также факторов, влияющих на образовательные результаты. 

В формирующейся системе подразумевается оценка качества как образовательных достижений обучающихся, так и образовательного процесса. При этом под качеством образования понимается интегральная характеристика системы образования, отражающая степень соответствия реально достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям. Из этого следует, что качество образования не тождественно качеству обученности, а отображает готовность и возможности личности быть востребованной на рынке труда, успешной в профессиональной деятельности и способной к самореализации. 

Чтобы добиться этого в современных условиях, необходимо обеспечить соответствующее качество образовательных программ и услуг, объективность контроля и надежность оценивания результатов образовательной деятельности. Для этого и нужна государственнообщественная общероссийская система оценки качества образования, независимая от органов управления образованием. Она должна стать действенным и надежным инструментом повышения эффективности и ответственности образовательной деятельности учреждений и субъектов образования, индикатором состояния всей образовательной системы России. 

Концепция построения ОСОКО определяет следующие цели функционирования системы:

•                    обеспечение объективности и справедливости при приёме в профессиональные образовательные учреждения для продолжения обучения;

•                    укрепление единого образовательного пространства страны;

•                    повышение информированности потребителей образовательных услуг, чтобы они могли принимать жизненно важные решения

(по продолжению образования или трудоустройству);

•                    развитие государственной аттестационной службы;

•                    разработку и принятие обоснованных управленческих решений по обеспечению повышения качества образования.

Стартовым моментом достижения

Как проявится действенназванных целей является уже суще-

ность ОСОКО на разных ствующая система оценки качества

ступенях образования? образования, включающая в частности, инфраструктуры ГИА и ЕГЭ, его

механизмов и процедур; служб аттестации и аккредитации образовательных учреждений; систем мониторинговых исследований и диагностических обследований, информационно-технологических центров сбора и обработки статистических данных. 

Основные работы по построению ОСОКО сегодня разворачиваются в следующих направлениях: мониторинг качества образования на основе государственной (итоговой) аттестации выпускников 9-х и 11-х классов; анализ состояния дел в сфере качества образования в субъектах Российской Федерации и определение оптимального пути развития российского образования с учетом региональных особенностей и мирового опыта; создание систем менеджмента качества на всех ступенях профессионального образования; создание моделей региональных систем оценки качества образования; разработка модели информационных баз данных для ОСОКО.

Поэтому ОСОКО в школьном образовании – это аттестация учащихся после 9-го и 11-го классов, включая единый государственный экзамен; в профессиональном – общероссийские срезы уровня подготовленности студентов в рамках аттестации и аккредитации вузов, функционирование внутривузовских систем менеджмента качества; общественное признание уровня учреждений профессионального образования с привлечением работодателей.

На сегодняшнем этапе построения ОСОКО используется модель, приведённая на схеме 2. 

Схема 2 Модель общероссийской системы оценки качества образования

1.4. Мониторинг как основной принцип современной оценки

результатов обучения

Мониторинг – это инструмент проверки и оценки эффективности результатов обучения; специально организованное, систематическое наблюдение за состоянием объектов, явлений, процессов с целью их оценки, контроля или прогноза.

Мониторинг обучения – система отслеживания (сбора, хранения, обработки показателей) состояния педагогического процесса, обеспечивающая прогнозирование и развитие уровней учебных достижений учащихся. 

Мониторинг затрагивает различные аспекты жизнедеятельности образовательного учреждения: анализ целесообразности постановки задач образовательного процесса, планов учебной и воспитательной работы; работу с кадрами и создание условий для творческой работы педагогов; организацию учебно-воспитательного процесса; сочетание контроля с оказанием практической помощи; здоровьесберегающий подход в обучении и воспитании обучающихся. Исходя из вышеизложенного определяются функции мониторинга (схема 3). 

Схема 3

                                                Функции мониторинга

                               Диагностическая                                                     Экспертная 

(сканирование    состояния системы           (осуществление экспертизы сообразования       и происходящих в ней      стояния, концепции, форм и метоизменений, что позволяет дать     дов развития системы образова-

                     оценку данным явлениям)                                    ния, ее компонентов и подсистем)

                             Информационная                                                   Интегративная 

(регулярное получение сопоста-       (мониторинг является одним из вимой     информации о состоянии и       системообразующих факторов,

           развитии  системы, необходимой                    обеспечивающих комплексную ха-

          для анализа и прогноза состояния                            рактеристику процессов)

                     и развития системы)

В процессе мониторинга выявляются тенденции в развитии системы образования, соотнесенные во времени, а также последствия принимаемых решений. В рамках мониторинга проводится выявление и оценивание проведённых педагогических действий. При этом обеспечивается обратная связь, осведомляющая о соответствии фактических результатов деятельности педагогической системы её конечным целям. 

Мониторинговая деятельность имеет свои особенности. Во-первых, объекты мониторинга динамичны, подвержены влиянию внешних воздействий,

Педагогический мониторинг – это форма организации, сбора, обработки, хранения и распространения информации о деятельности педагогического коллектива, позволяющая непрерывно отслеживать состояние и прогнозировать его деятельность.

которые могут вызвать различные изменения в состоянии объекта.  Во-вторых, реализация мониторинга предполагает организацию постоянного отслеживания характеристик объекта, изучение и оценку его состояния. В-третьих, организация отслеживания предусматривает отбор обоснованных критериев и показателей, по которым ведется измерение и описание параметров объекта. И наконец, каждая конкретная система мониторинга ориентирована на конкретного потребителя, которым может быть как отдельное учреждение, так и государство в целом. 

Именно это своеобразие и помогает установить главное отличие мониторинга качества обучения от контроля: задача мониторинга –  установление причин и величины несоответствия результата поставленным целям.

Взяв в качестве основания классификации содержательный, методологический и ориентационный признаки, определим основные виды мониторинга и дадим краткую характеристику каждого из них

(табл. 2).

Таблица 2

Основные виды мониторинга

                                                                                                                       Окончание табл. 2

Признак 

                                                     Название                                        Характеристика

выделения

        По характе- ¾ Статистический                   Полученная система данных подлежит ма-

       ру исполь-                                               тематической обработке

        зуемых ме- ¾ Нестатистический              Невозможность математической обработки

тодов и ме- полученной системы данных тодик

По направ- ¾ Процесса Представляет картину факторов, влияющих ленности  на реализацию конечной цели 

¾ Условий организа- Выявляет отклонения от запланированной ции деятельности нормы деятельности, уровень рационально-

                                                                                сти деятельности, необходимые ресурсы

¾ Результатов Выясняет, что было сделано из запланированного, какие результаты достигнуты

Для получения достовер-

Какие условия предъявляются ных результатов о функционик организации мониторинга  ровании образовательной систев образовании? мы и установлении её эффективности средствами монито-

ринга важно выполнить ряд условий. Одни из них относятся к подготовке, другие – к проведению мониторинга, а третьи – к процедурам после него (табл. 3).  

Таблица 3

Технология мониторинга качества обучения

Критерии качества реализации мониторинга определяются заранее, причём определяется комплекс показателей, обеспечивающих целостное представление о состоянии системы, качественных и количественных изменениях в ней. Средства диагностики отбираются адекватно выделенным критериям, что помогает установить уровень соответствия реального состояния объекта ожидаемым результатам. Полученные данные требуют тщательной обработки, информация о состоянии и развитии системы регулярно систематизируется. Для обеспечения обратной связи необходимо регулярное и наглядное представление информации о происходящих процессах. Информация, собираемая в процессе мониторинга, должна соответствовать требованиям объективности, точности, полноты и достаточности. Организация информационного обеспечения анализа и прогнозирования состояния и развития системы образования поможет выработать правильные  управленческие решения. 

Благодаря соблюдению перечисленных условий процессуальный мониторинг по своим исследовательским и практическим возможностям превращается в универсальный механизм влияния и коррекции деятельности субъектов управления этим процессом.

Вопросы и задания

1. Какие новые идеи, направления, подходы и приёмы используются в современной системе оценки качества образования?

2. Опишите сущность компетентностного подхода к контролю качества обучения при аттестации выпускников.

3. В чём состоит главное отличие мониторинга качества обучения от контроля? Перечислите характерные особенности мониторинга.

4. Спланируйте и проведите мониторинг учебных достижений учащихся в основной школе. 

Список рекомендуемой литературы

1.     Болотов, В. А. О построении общероссийской системы оценки качества образования / В. А. Болотов // Вопросы образования. – № 1. – 2005. – С. 5 – 11.

2.     Звонников, В. И. Измерения и шкалирование в образовании : учеб. пособие для студентов пед. вузов / В. И. Звонников. – М. : Логос, 2006. – 134 с. – ISBN 5-98704-100-7.

3.     Звонников, В. И.  Контроль качества обучения при аттестации: компетентностный подход / В. И. Звонников, М. Б. Челышкова. –

М. : Университетская книга, Логос, 2009. – 272 с. – ISBN 978-5-98704369-7.

4.     Концепция общероссийской системы оценки качества образования // под ред. А. Н. Лейбовича. – М. : Федеральная служба по надзору в сфере образования и науки, 2006.

5.     Майоров, А. Н. Мониторинг как научно-практический феномен / А. Н. Майоров // Школьные технологии. – 1998. – № 5 – С. 25 – 48. 

6.     Шишов, С. Е. Школа: мониторинг качества образования / С. Е. Шишов, В. А. Калней – М. : Педагогическое общество России, 2000. – ISBN 5-98314-195-3.  

Глава 2

ТРАДИЦИОННЫЕ И НОВЫЕ СРЕДСТВА ОЦЕНИВАНИЯ 

РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

          Тот, кто не хочет прибегать        к новым средствам, должен ожидать    новых бед.

                                                                                 Френсис Бэкон

Практическое задание: составьте перечень известных вам традиционных средств оценивания, дайте им краткую характеристику, выделяя их достоинства и недостатки.

Теоретическое задание: проведите сравнение традиционной системы оценки с современными подходами к оцениванию учебных достижений учащихся, изучив раздел в гл. 2  «Оценка, отметка, оценивание в системе контроля результатов обучения» [6].  

План лекции:

2.1. Традиционные контрольно-оценочные средства.

2.2. Контроль и оценка в современном образовании.

2.3. Контрольно-оценочная система в школе.

2.4. Эвалюация в образовании. 

2.1. Традиционные контрольно-оценочные средства

В школе к традиционным средствам контроля относятся письменные или устные опросы, домашние задания и экзамены. Для текущего контроля на уроке часто применяют устные опросы, которые предполагают получение ответов учащихся на вопросы учителя. Достоинства

такой формы контроля – организационная простота, оперативность обеспечения обратной связи, мотивированность обсуждения уровней усвоения знаний учащимися и их коррекция в классе, ориентированность на развитие коммуникативных компетенций. Главным недостатком устных опросов является фрагментарность охвата учащихся. Для рубежного контроля используют письменные опросы, которые тради-

ционно проходят в форме прове-

Почему перечисленные 

рочной или контрольной работы.

средства контроля  считают традиционными? Особой формой контроля является домашняя работа, обсуждение результатов которой в классе оказы-

вает воспитательное и обучающее воздействие. Для итогового контроля обычно используют устные или письменные зачёты или экзамены. Последние вызывают значительные эмоциональные и физические перегрузки у большинства школьников, особенно у тех, кто привык добросовестно учиться.

Завершая контрольно-оценочную деятельность,  учитель высказывает оценочные суждения, то есть Как соотносятся оцени- оценивает учащихся и выставляет им вание, оценка и отметка? отметки. По сложившейся традиции в учебном процессе слово «оценка» означает некий результат. В более

широком значении под этим словом понимается не только конечный результат, но и процесс формирования оценки. В контексте данного пособия в последнем случае используется термин «оценивание».  

Для придания оценке максимальной объективности и адекватности поставленной цели контроля необходимо сосредоточиться на предмете оценивания и минимизировать влияние других факторов, смещающих оценочные суждения. Конечно, в реальности на каждую оценку, выставленную традиционным путем, оказывают влияние различные факторы, поэтому такие оценки нельзя использовать для сравнения результатов работы учителей, интерпретировать их в управлении качеством образования. Педагогические оценки нередко ошибочно отождествляют с отметками. Следует помнить, что оценка выражает результат, а отметка служит для установления численных аналогов оценочных суждений. 

                                                                                           Процесс    оценивания    основан     на

Чем характеризуется сравнении, которое может иметь раз-

процесс оценивания? личный характер в зависимости от того, что выбрано в качестве базовой

системы при выставлении оценок. Такой системой могут быть: результаты других учащихся, требования программы или ФГОС, оценки способностей учащегося, объем затраченного учащимся труда и его прилежание в освоении учебного материала.

В первом случае при выставлении оценки проводится сравнение подготовленности каждого учащегося с результатами всего класса или группы учащихся, после чего учащиеся ранжируются на группы, внутри которых все имеют одинаковые оценки. 

Во втором случае при сравнении подготовленности учащегося с установленными требованиями к учебным достижениям (например, ФГОС) результаты остальных учеников не играют никакой роли, а оценка выставляется в зависимости от процентного соотношения выполненных требований и полного объема требований, планируемых к усвоению. Полученный для каждого учащегося процент сравнивается с критериями, установленными экспертным или эмпирическим путем. По результатам сравнения в зависимости от полученного процента выставляются оценки. 

В третьем случае достижения учащегося сопоставляются с его потенциальными возможностями, интуитивно оцененными учителем. Те ученики, чьи способности, по мнению педагога, высоки, а достижения ниже возможностей, получают низкие оценки. Ученики с низким потенциалом, демонстрирующие в процессе контроля такие же достижения, что и более способные, получают более высокие оценки. 

В четвертом случае в качестве основы для сравнения вместо способностей выбираются усилия, затраченные учащимися на приобретение новых знаний, интенсивность учебной деятельности и прилежание. По сравнению с предыдущим такой подход еще более несправедлив, так как направлен против ярких одаренных детей и снижает мотивацию самых способных учащихся к получению высоких оценок. 

 В современной тестологии выделяКакие современные тен- ют два базовых вида оценивания: денции можно выделить  внешнее (суммирующее, стандартив оценочных процессах?  зированное) и внутреннее (формирующее). Внешнее оценивание все-

гда производится субъектом, непосредственно не участвующим в процессе обучения, не включенным в процесс подготовки к проводимому тестированию. Данный способ оценивания предполагает сравнение одного ученика с другим, но не посредством сравнения работ этих учащихся, а путем сравнения каждой работы с эталоном. При таком способе оценивания крайне важно, чтобы все учащиеся находились в равных условиях, а для этого разработчик теста дает специальные указания по его проведению и способам интерпретации результата. 

Напротив, внутреннее (формирующее) оценивание предполагает оценку достижений учащихся учителем, который их обучает, то есть человеком, находящимся внутри процесса обучения тестируемых учащихся. Этот способ нацелен на определение индивидуальных достижений каждого учащегося и не предполагает как сравнения результатов, продемонстрированных разными учащимися, так и административных выводов по результатам обучения испытуемых.

Таким образом, описанные выше базовые виды оценивания направлены на решение двух разных задач обучения: суммирующее оценивание применяется для оценки уровня достижения результатов обучения, тогда как формирующее оценивание используется для того, чтобы активизировать и оптимизировать процесс обучения данного учащегося.

Обучение в современном понимании есть процесс конструирования знания. Согласно конструктивистской теории обучения, учащиеся лучше всего обучаются посредством встраивания нового знания в когнитивные карты (уже освоенные знания, умения, хранящиеся в долгосрочной памяти ученика). Следовательно, знание рассматривается не как набор разрозненных фрагментов, а как структурированные элементы общей картины, которые ученик в процессе обучения помещает в строго отведенное для них место. Тогда технология формирующей оценки в рамках конструктивистского подхода является средством управления качеством образовательного результата учащегося. Её применение позволяет учителю четко сформулировать образовательный результат, подлежащий формированию и оценке в каждом конкретном случае, и организовать в соответствии с этим свою работу; сделать учащегося субъектом образовательной и оценочной деятельности. Принципиально алгоритм деятельности учителя по организации формирующей оценки можно представить в виде следующих последовательных действий:

1)                определение планируемых результатов обучения;

2)                организация деятельности учащегося по планированию и достижению субъективно значимых образовательных результатов;

3)                сопровождение достижения учащимся запланированных результатов обучения с помощью механизмов обратной связи. 

Инструмент формирующего оценивания – лист обратной связи.

Это документ, используемый учителем для формирования, а также для качественной и количественной Какие инструменты ис- оценки промежуточных и итоговых пользуют при форми- результатов деятельности учащихся рующем оценивании?  по освоению определенных, четко обозначенных результатов образования, позволяющий учащемуся: ста-

вить собственные цели в освоении учебного материала и планировать деятельность по их достижению; получать информацию о результатах своей деятельности без окончательной отметки (до двух раз и более) и, следовательно, сохранять мотивацию на дальнейшую деятельность по освоению учебного материала; получать комментарии, позволяющие спланировать деятельность по достижению результата более высокого уровня; овладевать алгоритмом оценки собственного продвижения. Листы могут отличаться способами предъявления обратной связи. По этому основанию различают листы:

•             с местом для свободного комментария учителя; 

•             содержащие критерии достижения результата, по которым и ожидается реакция учителя; 

•             в которых наряду с критериями достижения результата даны характеристики степени достижения этого результата.

Формирующая оценка не подразумевает каких-либо унифицированных бланков оценивания, так как её функция – сделать оценку инструментом, стимулирующим обучение учащегося, способствующим формированию образовательного результата на максимально высоком уровне, а не только контролирующим уровень достижения образовательного результата.

2.2. Контроль и оценка в современном образовании

Бесспорно, современная образовательная ситуация требует коренных изменений в организации контроля и оценки деятельности субъектов    учебно-воспитатель-

Какие условия являются  ного процесса и целостной деянеобходимыми для обновле- тельности образовательного учния контрольно-оценочной реждения. Во-первых, требуется системы в школьном  минимизировать субъективизм в образовании? итоговом контроле посредством расширенного использования стан-

дартизированных тестов, а, значит, снизить долю авторитарности и принуждения в текущем контроле через формирование действий самоконтроля и самооценки учащихся. Во-вторых, отказаться от преимущественной ориентации любого вида контроля на оценку усвоения знаний на уровне воспроизведения, действий по образцу, а для этого требуется переход к инновационным измерителям, обеспечивающим оценку всего спектра компетентностей. В-третьих, заменить традиционную ориентацию процесса текущего контроля на «среднего ученика» индивидуализированными методами коррекции учебной деятельности, среди которых доминирующее место должна занимать ежедневная дозированная помощь учащимся, а для этого насущным становится систематическое использование входного контроля. Вчетвёртых, значительно уменьшить долю традиционных письменных проверок и распространить введение аутентичных форм оценивания, среди которых при итоговой аттестации ведущее место займёт портфолио как средство накопительной оценки учебных достижений школьников, а для текущего оценивания важнейшими будут практико-ориентированные и ситуационные задания, тесты практических умений.

В последнее десятилетие наблюдается усиление связи между контролем и обучением. Целевые установки, определяющие результаты образования, задаются в терминах измеряемых результатов. В свою очередь, процесс обуче-

Какие инновации проникают   ния строится так, чтобы активив систему оценивания ре- зировать обучающие и развиваюзультатов обучения? щие функции контроля за счёт оптимизации содержания и труд-

ности учебных задач, подбираемых для текущего контроля в индивидуальном режиме. Контроль приобретает всё большее значение, он меняет свой характер и объединяет традиционные функции по проверке и оценке результатов обучения с функциями управления качеством всего учебного процесса.

Система оценивания результатов обучения претерпела  значительные изменения. Произошло смещение акцентов с оценки конечного результата обучения на составляющие процесса его получения, с пассивного ответа на заданный вопрос на активное конструирование содержания ответа, с оценки отдельных, изолированных умений на интегрированную и междисциплинарную оценку. В контроле значительно усилилось внимание к метапознанию, предполагающему формирование межпредметных знаний, умений переноса знаний из одного предмета в другой и универсальных учебных действий. Изменился контекст расшифровки понятий «знающий» и «умеющий». Вместо прежнего приоритета фактологии и алгоритмических умений на первое место вышли умения применять знания в нестандартных или практических ситуациях.

В современном педагогиче-

Какие новые виды измерите-

ском контроле важнейшим средлей появились в современном

ством                                                                        получения   информации, контроле?

широко используемой в управлении качеством образования, стали измерения, которые основаны на применении смешанной методологии, строящейся на сочетании количественных и качественных оценок. Совместно с традиционными средствами контроля и тестами новое поколение измерителей обеспечивают многомерные аутентичные (комплексные, многогранные) оценки, охватывающие результаты учебной деятельности как в школе, так и за её пределами. На смену статическим оценкам, позволяющим зафиксировать уровень подготовленности обучаемых только в момент контроля, приходит анализ динамики изменений качества учебных достижений учащихся, основанный на современном мониторинге качества образования.

Для оценки практической деятельности учащихся в практику образования постепенно проникают измерители, позволяющие выявлять позитивную динамику изменений подготовленности, активность, самостоятельность и креативность учащихся в усвоении новых знаний, рост их компетентности, а также уровень сформированности универсальных учебных действий. В первую очередь к числу таких измерителей следует отнести портфолио (папка документов), содержащие целевые подборки работ учащегося по одной или нескольким учебным дисциплинам и составленные учителем в сотрудничестве с учащимся. Участие ученика в формировании папки документов является важным фактором положительной мотивации учебной деятельности, способствующим формированию самооценки своих достижений. Поэтому многие преподаватели рассматривают портфолио в качестве эффективного средства развития у школьников навыков критического мышления и получения реальных самооценок. 

В сфере образования существует определенная типология портфолио, представленная в отечественных и зарубежных работах. Рабочее портфолио  включает работы учащегося за определенный период времени, которые показывают динамику его учебных достижений. Протокольное портфолио  в документальной форме отражает все виды учебной деятельности и подтверждает самостоятельность работы учащегося. В этот вид портфолио могут включаться как готовые работы ученика, так и черновики незаконченных работ. Процессное портфолио демонстрирует достижения учащегося на различных этапах процесса обучения. Итоговое портфолио обычно используется для получения суммарной оценки знаний и умений учащегося, усвоенных по основным предметам учебной программы. В последнем случае в портфолио обычно включаются наилучшие завершенные работы ученика, выбранные им после совместного обсуждения с учителем. Формы представления материалов портфолио могут быть различными, среди которых мультимедийные версии работ учащегося занимают особое место и имеют весомое значение при подведении итогов.

У такого средства как портфолио много сторонников, которые относят их к средствам аутентичного оценивания и в качестве позитивной аргументации приводят их высокую валидность, адекватность современным требованиям к качеству образования. Однако портфолио не решают всех проблем оценивания качества образования, поскольку имеют недостатки, среди которых чаще других называют такие: они дороги, требуют много времени для их формирования и экспертизы, вызывают сомнения в надежности.

К числу новых форм измерителей относятся тесты, которые разрабатываются для оценки практической деятельности учащихся (Performance assessment). Такие тесты позволяют выявить уровень освоения практических навыков с помощью экспериментальных заданий деятельностного характера, в результате выполнения которых получается некоторый материальный продукт, оцениваемый экспертами в стандартизированной шкале баллов. Многие из тестов практических умений не отвечают по своим характеристикам требованиям теории педагогических измерений. Тем не менее, они имеют высокую валидность и вызывают большой интерес у учеников. Экспериментальные задания обычно применяются в процессе текущего контроля, но не влияют на принятие административных решений в образовании, поэтому низкая точность оценок не проблема. В случае неудачи ученик может заново выполнить тесты и добиться успеха.

Рейтинговый контроль – это

Почему рейтинговый конмощный, оценочный, хрономет-

троль стал чаще примеражный контроль, выраженный

няться в образовании?

численно (в баллах), хронометражная оценка успеваемости

обучаемых (их «производительности») с оценкой качества их работы. Рейтинг учащегося − это индивидуальная комплексная оценка его успеваемости. За выполнение разнообразных заданий обучающиеся получают фиксированное количество баллов по шкале, разработанной учителем, эти баллы суммируются и служат основой для выставления определенной оценки за экзамен, либо зачета по предмету.

Среди основных черт рейтинговой системы чаще других выделяют следующие: 

ƒ    бальное оценивание всех видов учебной деятельности; 

ƒ    виды учебной деятельности, их количество в учебном году, самый высокий балл за каждую учебную работу устанавливается заранее;

ƒ    баллы распределяются таким образом, чтобы ученик понял, что получить их максимальное количество он может, только выполняя все виды учебной деятельности;

ƒ    выделяются виды учебной деятельности, за которые ученики могут получить дополнительные (бонусные) баллы;

ƒ    рейтинг класса (группы) проводится по истечении определённого промежутка времени;

ƒ    учителя регулярно ведут учёт полученных баллов, а результаты доводят до учащихся;

ƒ    результаты рейтинга вносятся в специальную таблицу, где отражаются самый высокий балл на данную календарную дату и средний балл по классу. При этом

обеспечивается свобода дос_-          Ре́йтинг (англ. rating) – числовой или по-

рядковый      показатель,    отображающий тупа всех участников учебно-

важность или значимость определенного

го процесса через различные        _{объекта} или явления.

средства коммуникации; 

ƒ    рейтинг ученика узнают, сравнив его результаты с результатами остальных учащихся, и таким образом делают выводы о его учебных достижениях.

У рейтингового оценивания есть свои сторонники, которые считают, что при такой системе контроля школьники более ответственно подходят к учению, у них развивается самодисциплина и самооценка, стимулируется планирование своей учебной работы. Каждый учащийся постоянно сравнивает свои достижения с прежними результатами, отсутствие текущих оценок позволяет не бояться получения неудовлетворительной отметки, что улучшает психологический климат в классе и повышает активность школьников. Однако при всех выделенных достоинствах у рейтингового контроля имеются и недостатки. Педагоги сами устанавливают и распределяют баллы, поэтому их количество может варьироваться. Такая система оценивания не совсем объективна, так как учитель может поставить большее количество баллов ученику, которому больше симпатизирует. Многие ученики плохо ориентируются в рейтинговой системе, поэтому не могут сами оценить свои достижения. В последнее десятилетие интенсивно развиваются новые компьютерные    технологии, позволяющие автоматизиро-

вать процесс текущего и итогового контроля на основе использования программно-инструментальных средств. Ярким примером комплексной системы автоматизированной диагностики как программного инструмента можно назвать автоматизированную универсальную тестовую  систему диагностики качества образования «ДиКОбраз»^[7]. В основе системы лежит технология компьютерного тестирования и компьютерная обработка результатов тестирования. Она позволяет как педагогу, так и образовательному учреждению, в целом, разработать тестовую базу и автоматизировать процесс получения информации о результатах обучения. Система обеспечивает создание авторских тестовых программ, формирование тестов из компьютерной базы автоматизированным способом по разработанному плану теста, компьютерное тестирование, автоматическое формирование базы данных результатов тестирования, анализ результатов тестирования, формирование требуемых отчётов. Система отличается универсальностью и может применяться при организации мониторинговых исследований качества результатов образовательного процесса в образовательных учреждениях различного уровня, позволяет проводить как простое тестирование по отдельным темам, так и комплексную диагностику качества знаний полученных по всему учебному курсу с проведением соответствующего оперативного анализа и формирования отчетных показателей по требуемой форме. 

Практическое применение система получила в 2005 г. в образовательных учреждениях Ульяновской области в качестве контрольного инструмента диагностики качества результатов образовательного процесса. Позже были разработаны и другие версии системы, расширяющие возможности её использования: применение в электронном варианте тестов, по уровням сложности и форме единого государственного экзамена (ЕГЭ), а также осуществление репетиционного компьютерного (без бланков) тестирования выпускников общеобразовательных школ по модели ЕГЭ. Интернет-версия позволяет выпускникам или школам самостоятельно организовать репетиционный контроль уровня подготовки к сдаче ЕГЭ непосредственно в компьютерном классе школы или с домашнего компьютера. 

Модернизация тестовой системы позволяет формировать компьютерные тесты из единой электронной базы тестовых заданий, обеспечивая многовариантность контроля. В 2009 г. тестовая система адаптирована для проведения компьютерной Интернет-диагностики по единой электронной тестовой базе. Последние версии тестовой системы используются по четырём направлениям:

ƒ    диагностика качества обучения при организации внутришкольного мониторинга в образовательных учреждениях;

ƒ    проведение контрольно-оценочных процедур качества образо- вания при проведении инспекционного контроля надзорными органами в сфере образования;

ƒ    мониторинг готовности выпускников общеобразовательных  учреждений к сдаче ЕГЭ;

ƒ    внедрение технологии Интернет-тестирования в различных  регионах РФ.

2.3. Контрольно-оценочная система в школе.

Общий замысел формирования обновлённой системы школьного оценивания состоит в создании совокупности методик, процедур, измерителей, программно-педагогических средств, взаимодействующих как единое целое в процессе проверки результатов обучения, оценивания состояния объектов контроля, анализа данных контроля, их интерпретации и выработки корректирующих воздействий в целях повышения качества обучения. В том или ином виде контрольнооценочная система существует в любой школе (схема 4). Однако её современный вариант          предполагает Какая она – современная         опору на базы данных школьного моконтрольно-оценочная  ниторинга, наличие специальных метосистема?   дик проведения контроля и оценивания результатов учащихся, банка иннова-

ционных измерителей, стандартизированных шкал, программноинструментальных средств, а также подготовки коллектива учителей по педагогическим измерениям и использованию данных контроля в управлении качеством образования.

Схема 4 

                                       Задачи контрольно-оценочной системы

Получение     объективной текущей 

и прогностической информации о

качестве обучения для муници-

пальных и других органов управле-

               ния образованием

Создание и поддержка функциони-

рования школьной системы монито-

ринга качества образования

Обеспечение  возможности индивидуализации  учебного процесса,

реализации инновационных техно-

логий обучения без необоснован-

ного роста трудозатрат 

             со стороны педагога

Обеспечение возможности само-

контроля, самокоррекции и само оценкидляучащихся Получение объективной информации об уровне и качестве индивидуальных учебных достижений уча-

щихся для последующей коррекции учебного процесса  

Сбор и анализ объективной информации о подготовленности обучающихся для выставления итоговых

оценок при переходе на следующую ступень обучения

Поддержка развития новых форм, методов и средств контроля, адек-

ватных компетентностному подхо-

ду; аутентичной, сбалансированной

и интегральной оценке учебных достижений учащихся  

Современная контрольно-оценочная система должна обладать целостным функционально-структурным строением, сочетающим традиционные и инновационные методы контроля. Создание такой системы в школе предполагает налаживание и поддержку всех необходимых информационных потоков для управления качеством обучения, охват пользователей с различными уровнями доступа, среди которых – учащиеся, их родители, учителя и администрация школы. 

2.4. Эвалюация в образовании

Термин «эвалюация» происходит от латинского «valor», т. е. «стоимость», «ценность», и приставки «e / ex», что в буквальном переводе означает «оценка», «извлечение ценности чего-либо». В социологии при определении эвалюации подчеркивают обязательное использование научных методов и трактуют это понятие как систематическое использование общественно-научных

методов исследования с целью оценки концепции, оформления, реализации и эффекта социальных программ. Согласно современной трактовке, термин «эвалюация» рассматривается как интегративная категория оценочно-аналитической деятельности в управлении (менеджменте) качеством образования. 

Становление и развитие эвалюации в образовании в наши дни связано с глобальными переменами, произошедшими в XXI в. Во всем мире в образовании утверждается парадигма теории управления, включающая системный подход, приоритет стратегического управления развитием социально-экономических систем, мониторинг и бенчмаркинг, что позволяет планировать эффекты нововведений, управлять качеством образования, оценивать риски принятия управленческих решений, эффективно распределять человеческие ресурсы и внедрять информационные и инновационные технологии. Бенчмаркинг (англ. Benchmarking) – это Находясь на стыке педагоги- процесс определения, понимания и адапки, психологии, квалитологии тации имеющихся примеров эффективно(науки о качестве), экономи- го функционирования компании с целью ки, менеджмента и других улучшения собственной работы. Он в равной степени включает в себя два пронаук, эвалюация в образовацесса: оцениваниеисопоставление.

нии      охватывает     широкий

спектр теоретико-методологических и практических работ по систематическому исследованию ценности и успешности качеств обучаемых, анализируемых на основе единой методологии, сочетания количественных и качественных методов оценки характера и динамики изменений.  

Термин «эвалюация» (evaluation) не распространен в отечественной педагогической науке, хотя он широко применяется в большинстве зарубежных стран, имеющих высокоразвитые системы управления качеством образования. Впервые он был использован в

России А.Л. Гавриковым, М.Н. Певз-

Почему следует пользовать- ^[8]нером . Похожие термины суще-

ся словом - заимствованием, ствуют и в других странах (наа не употреблять привычные пример, нем. – Expertise, Auswerнам слова: экспертиза, tung). Тем не менее, слово «эва оценивание, контроль? люация» вошло в употребление повсеместно и стало интернацио-

нальным термином. Скорее всего, между экспертизой и эвалюацией существуют какие-то тонкие отличия, которые могут быть существенными. 

Теория эвалюации носит междисциплинарный характер. Применение количественных методов в эвалюации предполагает использование математико-статистического аппарата, мета-анализа, дисперсионного анализа, факторного анализа и т.д. Теория управления качеством образования привносит в эвалюацию синергетический и процессный подходы к анализу объектов, анализа в эвалюации. При использовании качественных методов сбора информации привлекаются эксперты, применяются анкеты и интервью. Оценивание эффективности деятельности образовательных учреждений обычно включает анализ соотношения финансовых затрат на образование и их отдачи, поэтому при рассмотрении эффективности вложений используются различные стоимостные модели и количественные методы анализа социально-экономических объектов. 

Эвалюация  бывает внешней и внутрен-

Что может быть  ней. Внешняя эвалюация – это системапредметом эвалюации? тическое исследование и оценка школ (округа, системы) внешним лицом или

организацией. Предметом внешней эвалюации могут быть и внутренние компоненты, например, программа школы, методы преподавания, результаты внутренней эвалюации. И тогда их можно сравнить со школами данного округа или со школами других округов и даже стран (это позволяют интернациональные исследования). Результат такого обследования – аналитическая беседа с руководством школы с целью выявления проблем и улучшения качества. Внутренняя эвалюация – это основанное на данных систематическое исследование работающими в школе сотрудниками собственной работы и ее результата. Так же как внешняя эвалюация содержит внутренние компоненты, внутренняя эвалюация включает внешние, например, образовательное учреждение  может по собственной инициативе пригласить так называемого «критического друга» школы – ученогопедагога или учителя из другой школы, например, для наблюдения урока в первом классе по определенным критериям.

Таким образом, эвалюация связана с принципиально позитивной установкой на улучшение, на помощь, а не на оценку (хорошо/плохо), носит диалогический характер и не связана с санкциями, к которым прибегают только в крайнем случае. Учитель должен понимать, что эвалюатор не «проверяет» его, а помогает ему и поддерживает его.

Это условие эффективности эвалюации.

Вопросы и задания

1.  Объясните, почему внешнее оценивание называют суммирующим?       С помощью каких средств оно производится? 

2.  Соблюдение каких принципов обеспечит грамотную организацию формирующего оценивания? Составьте алгоритм деятельности учителя по организации формирующей оценки в классе. 

3.  Разработайте различные типы листов обратной связи для организации формирующего оценивания по математике (тему выберите самостоятельно).

4.  Почему многие преподаватели рассматривают портфолио в качестве эффективного средства развития у школьников навыков критического мышления и получения реальных самооценок? Докажите, что портфолио обеспечивает получение достаточно объективной информации о качестве учебных достижений школьников.

5.  Какие типичные ошибки и затруднения возникают при использовании технологии портфолио? Разработайте ролевую игру «Портфолио – папка личных достижений учащегося» и апробируйте её в своей группе.

6.  Эвалюация (Evaluation) – это систематическое исследование и оценка какого-либо предмета с намерением выявить и дальше развивать его «полезность» и «добротность», то есть качественность. Под «предметом» понимаются условия, процессы, продукты и их действия в связи со школой, обучением, воспитанием и развитием. Примените данное толкование эвалюации к образовательному процессу.

7.  Перечислите различные направления оценочно-аналитической деятельности, которые включает эвалюация в образовании.

Список рекомендуемой литературы

1.     Данилова, Л. Школьная эвалюация – феномен, сформировавшийся на стыке педагогики и менеджмента / Л. Данилова //  Директор школы. – 2009. – № 10. –  С. 7 – 13.

2.     Калужская, М. В. Рейтинговая система оценивания. Как? Зачем?

Почему? / М. В. Калужская, О. С. Уколова, И. Г. Каменских. – М. :

Чистые пруды, 2006. – 32 с. – ISBN5-9667-0166-0.

3.     Ксензова, Г. Ю. Оценочная деятельность учителя : учеб.-метод. пособие / Г. Ю. Ксензова. – М. : Педагогическое общество России, 2002. – 128 с. – ISBN 5-93134-047-5.

4.     Прутченков, А. С. Портфолио: типичные ошибки и затруднения /

А. С. Прутченков // Народное образование. – 2005. – № 2. – С.71 – 80.

5.     Он же. Ролевая игра «Портфолио, или Папка личных достижений ученика» / А. С. Прутченков // Методист. – 2005. – № 2. – С.11 – 19.

6.     Современные средства оценивания результатов обучения : учеб. пособие / сост. Е. В. Телеева. – Шадринск : Изд-во Шадрин. пед. ин-та, 2009. – С. 32 – 34.

Глава 3 ИСТОРИЯ РАЗВИТИЯ ТЕСТИРОВАНИЯ 

В РОССИИ И ЗА РУБЕЖОМ

История того      , что есть, - это история того, что было       и того, что будет.

                                                                                                                  Жак Анри Бернарден

Практическое задание: составьте цепочку соответствий: имя учёного и его вклад в развитие теории тестов (на примере развития отечественной или зарубежной  тестологии).

Теоретическое задание: проследите этапы внедрения тестирования за рубежом и в России по материалам гл. 3 «Педагогическое тестирование (история зарождения тестирования) [5].

План лекции:   

3.1. Исторические предпосылки современного тестирования в отечественном образовании.

3.2. Развитие тестирования в зарубежных странах.

3.3. Направления и проблематика современных российских и зарубежных исследований по вопросам измерений и тестирования в образовании.

3.4. Тестирование в психологии и в образовании.

3.1. Исторические предпосылки современного тестирования 

в отечественном образовании

История тестов, пришедших на смену обыденным представлениям педагогов о проверочных средствах, началась в России, как и в других странах, в конце XIX – начале XX в. В этот период тесты широко применялись сторонниками экспериментальной педагогики, которые всячески пропагандировали их наравне с другими, разрабатывали психометрические методики в педологии^[9]. 

У истоков советской педологии, в рамках которой развивались тестовые методики, стояли известные ученые того времени: М.Я. Басов, Л.С. Выготский, А.П. Болтунов, Как давно стали  П.П. Блонский, К.Н. Корнилов, А.П. Невостребованы тесты  чаев, А.Р. Лурия и др., посвятившие ряд в России? своих работ оценке результатов обучения и развития детей. До 1917 г. вопро-

сам тестирования уделялось недостаточное внимание. Фактически свое практическое значение тесты получили после 1925 г., когда была создана особая тестовая комиссия. Тестовая комиссия существовала при педагогическом отделе Института методов школьной работы. В её задачи входила разра-

ботка стандартизированных Педология (от греч. pais – дитя и logos – тестов для советской шко- слово, наука) – течение в психологии и педагогике, возникшее на рубеже XIX – XX вв.,

лы. И уже весной 1926 г. в обусловленное проникновением эволюциМоскве была выпущена онных идей в педагогику и психологию, первая серия тестов для развитием прикладных отраслей психологии школьников по природове- и экспериментальной педагогики.

дению, обществоведению, счёту, решению задач, знанию географической карты, на понимание чтения и правописание. К этим тестам прилагались инструкции и личная карточка для учёта прогресса учащегося. Наркомат просвещения РСФСР финансировал специальные лаборатории по разработке тестов, по этой теме выпускались книги, публиковались статьи в газетах и журналах. Однако период активной деятельности педологов и тестологов в советской России оказался коротким. Работа по созданию тестов в начале 30-х гг. была подвергнута критике, тесты были объявлены вредным методом.  В 1936 г. использование тестов было запрещено^[10].

Многие годы, вплоть до начала 90-х гг. XX в., отношение к тестам было негативным. Педагоги-практики вернулись к тестам в период прекращения массовых политических репрессий. Уже к началу 60-х гг. XX в. многие учителя, заботящиеся не о формальных показателях, а о реальном качестве учебного процесса, стали использовать при контроле наборы заданий в тестовой форме, которые чаще всего назывались по-разному, но только не словом «тест». Промежуток времени с 60-х гг. до начала 90-х гг. XX в. был для отечественной школы периодом постепенной либерализации, когда учителя изыскивали различные резервы в борьбе за повышение качества обучения на фоне снижения авторитарного характера учебного процесса. Тесты в это время существовали полулегально, официально запрет на них не был отменен, но уже предпринимались попытки диссертационных исследований по проблемам тестирования, появлялись работы педагоговноваторов, в которых тесты и анкетные опросы использовались как инструментарий для подтверждения эффективности нововведений. В это время тесты разрабатывались без должного знания теории педагогических измерений, на основе опыта и здравого смысла, поэтому чаще всего тестами их было можно назвать лишь условно.

Столь же необоснованными по надежности и валидности были наборы заданий с выбором ответов, создаваемые практически повсеместно на рубеже 60 – 70-х гг. XX в. в связи с интенсивным развитием программированного обучения. Только к середине 80-х гг. XX в. в нашей стране в научных и методических работах преподавателей стали утверждаться основные положения теории педагогических измерений, декларирующие необходимость эмпирической верификации качества измерений и статистического анализа характеристик тестов. Первое признание тестирования как способа проверки уровня знаний официально появилось в декабре 1988 г., тесты разрешалось использовать в системе повышения квалификации. Затем вышли нормативные документы, разрешающие проводить тестирование в качестве вступительных испытаний, в том числе в техникумах. В 1995 г. тестирование предлагалось использовать уже как способ итоговой аттестации школьников^[11]. Таким образом, состоялась реабилитация тестирования после 1936 г.

В целом рассматриваемый временной промежуток в развитии тестов был периодом прогресса, когда на смену представлениям о тесте как о простом наборе заданий пришло научное понимание этого термина. В этот период появляются научные издания по тестовой и смежной с ней проблематике, учебные пособия и многочисленные статьи отечественных авторов, как поддерживающие, так и осуждающие тесты в образовании.

В 90-е гг. XX в. стали больше гово-

В чём специфика новой  рить не о руководстве, а о научно истории тестов России? обоснованном управлении учебным процессом, в информационном обеспечении которого важная роль по

праву принадлежит тестам. Новое понимание возможностей тестов в образовании способствовало росту научных исследований. В это время появляются работы по проблемам измерений и тестирования в образовании, защищаются многочисленные кандидатские и докторские диссертации, издаются монографии, учебные пособия, журналы, проводятся конференции и симпозиумы. С октября 1995 г. в документах Госкомвуза стала отражаться работа по введению централизованного тестирования – ЦТ^[12]. 

Последнее десятилетие XX в. в нашей стране совпало с периодом бурного развития структур, занимающихся практической работой по созданию и применению тестов. Значимым событием в области подготовки кадров по педагогическим измерениям стало открытие в 2001 г. на факультете повышения квалификации Российского университета дружбы народов кафедры тестологии, где впервые в нашей стране началась реализация профессиональной образовательной программы  для получения дополнительной квалификации «Тестолог (специалист в области педагогических измерений)».

Коренные изменения в отношении учителей к тестам произошли в 2001 г. в связи с началом эксперимента по введению единого государственного экзамена, благодаря которому тесты получили офици-

альное признание в России. За годы эксперимента значительно повысилась степень доверия к результатам тестирования со стороны органов управления образованием, образовательных учреж-

Тестология (от англ. test – проба, греч. logos – знание) – междисциплинарная наука о создании качественных и научно обоснованных измерительных диагностических методик.  Зарубежные психологи называют эту науку психометрикой (Psychometrika), а педагоги – педагогическим измерением (Educational measurement). 

дений, самих учителей, которые убедились в высокой объективности и обоснованности баллов ЕГЭ, в их высокой прогностичности при отборе абитуриентов вузов. В 2002 г. был открыт Федеральный институт педагогических измерений (ФИПИ), приоритетным направлением деятельности которого является научное, методическое и организационное сопровождение процесса создания контрольных измерительных материалов (КИМ) для ЕГЭ, а в последствие и для ГИА. Применение технических средств в конце ХХ в. оказало большое влияние не только на методы тестирования (появились компьютерные тесты), но и на методологию тестирования: были разработаны нетрадиционные тесты, к которым относятся интегративные, адаптивные тесты и тесты с критериально-ориентированной интерпретацией результатов.

Подводя итоги развития тестирования в России, необходимо подчеркнуть, что на сегодняшний день среди ученых-педагогов в нашей стране сложилось понимание того, что теория педагогических измерений – наука, обладающая своей методологией, методами и аппаратом, необходимым для разработки качественных педагогических тестов. Это подтверждает широкое издание инновационных работ по педагогическим тестам отечественных ученых и зарубежных авторов, а также тиражирование сборников контрольно-измерительных материалов ГИА и ЕГЭ, специальные журналы по тестовой проблематике. Таким образом, можно считать, что на данный момент в России сформировалось сообщество профессионалов – специалистов по разработке и применению тестов. Сегодня Россия не только практически свела к минимуму последствия запрещения разработки и использования тестов, но и постоянно вносит свой вклад в развитие тестологии.

3.2. Развитие тестирования в зарубежных странах

К числу одних из самых ранних попыток создания тестов можно отнести исследоваЧья работа считается точкой ния Ф. Гальтона и Дж. Кэтотсчета в становлении основных телла, которые ещё в 1890 г.

научных подходов к измерениям  использовали термин «тест в психологии и образовании? на интеллект» (mental test).

Им же принадлежит заслуга введения в научный оборот

специальной характеристики качества теста (power of discrimination), указывающей на его способность дифференцировать испытуемых по измеряемой переменной. Однако появление педагогических тестов за рубежом нередко связывают с именем французского врача и психолога А. Бине^[13] и его работой по диагностике интеллектуальных способностей. В 1905 г. А. Бине и Т. Симон стали авторами первого практического теста интеллекта, называвшегося «шкала умственного развития Бине – Симона». В 1916 г. Л. Термен создал новые тесты (Стэнфорда – Бине), представляющие собой оригинальную модификацию работы его предшественника. Немного позднее идеи А. Бине были использованы немецким психологом и философом В.Штерном, который предложил специальный коэффициент для оценивания интеллекта – коэффициент IQ. Этот термин используется до сих пор, правда, несколько в ином контексте. 

Достижениями второго десятилетия XX в. в сфере измерений считают знаменитые батареи Альфа и Бета-тестов для армии. Благодаря команде специалистов, в состав которой входили Э. Торн- Что способствовало развидайк, Р. Годдард, П. Йеркс и Л. тию классической теории пеТерман, были созданы тесты, ко- дагогических измерений  торые впоследствии стали ис- и тестирования XX в.?

пользовать (вплоть до настоящего времени) в качестве примеров при обучении разработчиков тестов в образовании.  Первые стандартизированные измерители в образовании США были созданы для оценки качества почерка, правописания и выполнения арифметических действий в конце 20-х гг. XX в. Тогда же в Америке появилась батарея тестов SAT, предназначенных для отбора абитуриентов колледжей. Несколько позже, в конце 40-х гг. XX в. были созданы батареи тестов достижений, реализующие идеи многомерных измерений и обеспечивающие сопоставимость результатов по разным школьным предметам.

В 1904 г. англичанин Ч. Спирмен опубликовал фундаментальКорреля́ция – статистическая взаимосвязь        ный теоретический труд по исдвух или нескольких случайных величин.          следованию общих интеллектуальных способностей. Ис-

пользуя школьные оценки по различным предметам, он применил к данным тестирования аппарат новой для того времени теории корреляции и выявил примеры ковариации оценок школьников. Тем самым он заложил основы научных подходов к обоснованию качества тестов, соединив в своем исследовании теорию физических измерений, корреляционные методы и накопленный его предшественникамипсихологами опыт оценивания способностей детей.

Прообразом научных положений теории педагогических измерений послужила далекая от

образования работа Н.Р. Кэм-      Ковариа́ция – в теории вероятностей мера линейной зависимости двух случайных величин. пбелла «Основы физики»

(1920), благодаря которой был разработан теоретический аппарат для анализа качества измерений, а обыденное представление о тесте и его научное определение стали заметно различаться. Для обоснования качества педагогических измерений, их надежности и валидности была создана классическая теория тестов, получившая впоследствии название традиционной, и базирующаяся на концепции параллельных измерений и теории корреляции. На основе этой теории в 30 – 40-е гг. XX в. интенсивно разрабатывались количественные методы для анализа качества тестовых заданий, строились стандартизованные тесты учебных достижений и осваивались методы шкалирования результатов выполнения тестов.

В конце 40-х гг. XX в. увлечение чистой теорией сменилось пониманием важности правильного применения измерений в сфере психологии и образования. Значимым событием конца 40-х гг. XX в. для развития теории и практики измерений в образовании стало создание в 1947 г. в США Службы образовательного тестирования – Educational Testing Service (ETS). Сегодня эта организация имеет представительства практически во всех странах мира. Из числа тестов, созданных ETS, наибольшую известность в связи с расширением программ международного обмена в обучении приобрел TOEFL, выявляющий уровни владения различными видами речевой деятельности для обучения в англоязычных странах.

В истории тестов были этапы подъемов и спадов. В частности в США в конце 60-х гг.

XX в. жестко критиковались педагогические

тесты. Высказывались опасения, что тестирование служит инструментом подавления инициативы и творчества учащихся, слишком упрощенно трактует такие сложные конструкты, какими являются учебные умения, необъективно оценивает учебные достижения. Приводились и другие аргументы против широкого использования тестов. Ученые-тестологи занимались в основном конструктивной научной критикой традиционных методов разработки тестов, что привело к построению новой теории – Item Response Theory (IRT), которую нередко в наши дни называют современной теорией тестов.

Неоспоримые преимущества IRT, такие как возможность прогноза надежности измерений, увеличения эффективности тестирования и получение оценки параметров подготовленности учащихся, не зависящих от трудности заданий теста, стали широко применяться на практике с конца 80-х гг. XX в. Это стало возможным благодаря разработке алгоритмов оценивания параметров испытуемых и заданий на основе математических моделей IRT, создания программного обеспечения и широкого использования ПК. Сочетание аппарата классической теории и IRT при разработке тестов открыло новые возможности повышения качества педагогических измерений и применения тестирования в образовании.

Современный период в истории развития тестов характеризуется интенсивным развитием теории IRT, созданием новых моделей и методик её применения, внедрением в тестирование компьютерных технологий, адаптивного тестирования, различных инноваций в области разработки и применения тестов. В настоящий момент наметился ряд направлений исследований, нацеленных на расширение возможностей педагогических измерений, разработку инновационных измерителей и повышение качества тестов. К их числу относится создание новых моделей педагогического измерения, инновационных форм тестовых заданий для проверки творческих и практикоориентированных аспектов подготовленности учащихся, методов калибровки тестовых заданий и методик компьютерного моделирования тестов, обеспечивающих планируемую точность измерений. Большое внимание уделяется психолого-педагогическим проблемам тестирования (проблемам тревожности, мотивации), развитию специальных процедур для выявления размерности пространства измерений, созданию специальных методик, позволяющих обоснованно использовать результаты педагогических измерений в управлении качеством образования.

3.3. Направления и проблематика современных российских  и зарубежных исследований по вопросам измерений

 и тестирования в образовании

Период активизации исследований по тестовой проблематике конца XX – начала XXI в. совпал с началом эксперимента по введению ЕГЭ и повсеместным созданием в вузах России систем менеджмента качества образования. Тогда же появились исследования по тестам и смежной проблематике В.С. Аванесова, Т.М. Балыхиной, Н.Ф. Ефремовой, И. И. Легостаева, А.А. Макарова, Е.А. Михайлычева, В. Г. Наводнова, В. П. Папасюка, В.Ю. Переверзева, И.Д. Рудинского, М.Б. Челышковой и др.

С конца 90-х гг. XX в. вплоть до настоящего времени из года в год растет число монографий, учебных пособий, статей и методических работ по вопросам измеЗа счёт чего произошло расши- рений и тестирования в обрарение сферы приложения педа- зовании. В целом современгогических измерений в России? ные исследования отечественных учёных по проблемам из-

мерения и тестирования в образовании осуществляются по следующим направлениям:

¾    разработка научных подходов к совершенствованию содержания измерителей в контексте современных трактовок качества учебных достижений; 

¾    разработка теоретико-методологического и методического обеспечения процесса конструирования надежных и валидных тестов; 

¾    научное обоснование процедур применения тестов; 

¾    научное обоснование шкалирования данных тестирования и их интерпретация для применения результатов педагогических измерений в управлении качеством образования.

Несомненный интерес представляют также анализ и психологопедагогическая интерпретация латентных характеристик подготовленности выпускников, развитие моделей содержательной преемственности тестовых материалов для итогового контроля на различных ступенях обучения (дошкольное, начальное, основное, среднее, высшее), необходимость разработки которых резко возросла в наше время в связи с созданием Общероссийской системы оценки качества образования (ОСОКО). Проведение исследований по выделенным направлениям в нашей стране, безусловно, позволит значительно повысить качество используемых в образовании измерителей и тем самым будет способствовать повышению качества образования.

В современных зарубежных

Почему IRT заняла лидирующее исследованиях в теории пе-

положение в сфере конструиродагогических измерений к

вания и применения педаго- приоритетным направлениям гических тестов за рубежом? исследовательских работ от-

носятся:

¾    развитие методологии сочетания качественных и количественных методов при эвалюации в образовании;

¾    оптимизация методов интеграции данных педагогических измерений, полученных с помощью инновационных форм заданий тестов;

¾    развитие параметрических и непараметрических моделей IRT;

¾    разработка методик, алгоритмов и математико-статистического аппарата теории педагогических измерений для создания программного обеспечения и практического использования новых моделей IRT;

¾    исследования психологических и этических проблем в тестировании;

¾    разработка научно-методических подходов к построению уровневых шкал в образовании, разработка новых методов выравнивания;

¾    развитие специальных процедур и подходов для выявления размерности пространства измерений и её адекватности поставленным целям тестирования и т.д.

Многие зарубежные исследования посвящены аппарату и методам теории IRT, которая широко используется в практике тестирования, а результаты, полученные такими исследователями, как Ф. Лорд, M. Новик, Е. Самсджим, Д. Вэйс, Б. Райт, Ури и другими, внедрены в практику разработки и применения тестов.

3.4. Тестирование в психологии и образовании

Взаимодействие психологов и педагогов в области разработки тестов имеет свои исторические причины и научные предпосылки. В научном плане оно предопределено Существует ли взаимо- близостью методологий измерений в связь психологических и эмпирических науках и единством педагогических измерений? методик разработки тестов, общностью объекта исследования, тесной

взаимосвязью и частичным пересечением субъектов измерения. Исторические аспекты этого взаимодействия обусловлены особенностями становления теории педагогических измерений, сложившимися за рубежом в 20 – 40-е гг. XX в. В то время потребность в стандартизированных педагогических тестах постоянно увеличивалась, а сообщество тестологов в сфере образования практически еще не сложилось, поэтому психологи зачастую привлекались к работе над педагогическими тестами.

В наши дни область совместных работ педагогов и психологов расширяется. Во многих учебных заведениях в России и за рубежом работают психологи, создаются специальные службы консультирования школьников и студентов. В их функции входит не только психологическая поддержка учащихся в проблемных ситуациях, но и участие в проведении мониторинга, анкетных опросов и в подготовке учебного заведения к государственной аттестации. Педагоги, в свою очередь, проявляют интерес к оцениванию способностей обучающихся, когнитивных аспектов подготовленности, психологических особенностей учащихся в усвоении знаний и нередко выполняют свои исследования на стыке психодиагностики и измерений в образовании.

Тенденция вхождения психологов в педагогические измерения в нашей стране наметилась в середине 90-х гг. XX в. В это время возрос интерес к педагогическим тестам и отсутствие тестологов в образовании ощутилось особенно остро. Образовавшийся кадровый вакуум в значительной степени заполнили психологи. Попутно, сами того не желая, они привнесли в образовательную среду устойчивые представления о тестах как о наборе довольно тривиальных по содержанию заданий, носящих косвенный характер и имеющих форму с выбором ответа. 

Несмотря на имеющиеся точки соприкосновения, между педагогическими и психологическими теста-

В чём различия между ми есть существенные различия. Педапсихологическими и педа- гогические тесты оценивают результагогическими тестами? ты усвоения общего для всех обучаемых программного курса, а психологи-

ческие отражают индивидуальное восприятие жизненного опыта, различающегося по социальным и экономическим условиям его приобретения. Результаты тестирования в психологии используются в основном для прогнозирования успешности какой-либо деятельности в зависимости от оценок личностных характеристик и склонностей или носят рекомендательный характер при выявлении личностных проблем. Педагогические тесты в итоговом контроле дают количественные оценки уровня подготовленности обучаемых, которые нередко служат основой для принятия административно-управленческих решений в образовании, поэтому к качеству результатов педагогических измерений и их сопоставимости должны предъявляться повышенные требования, обеспечивающие корректность управленческих выводов и административных решений.

Внешние различия между тестами в психологии и в образовании проявляются в формулировках заданий, которые в педагогических тестах всегда носят прямой, а в психологических тестах, чаще всего, косвенный характер. 

Вопросы и задания

1.  Какие периоды можно выделить в отечественной и зарубежной истории развития тестов? Каковы характерные особенности каждого этапа?

2.  Составьте галерею образов учёных, которые внесли особый вклад в развитие отечественной и зарубежной тестологии.

3.  В чём различие педагогических и психологических тестов? Подберите педагогический и психологический тест для их сравнения по формулировкам заданий, спрогнозируйте параметры их результативности.

4.  Приведите примеры современных исследований отечественных учёных по проблемам измерения и тестирования в образовании.  

5.  Существует ли тестовая культура? Приведите аргументы в пользу следующего высказывания «Тестовая культура – феномен человеческой цивилизации».

Список рекомендуемой литературы

1.  Аванесов, В. С. Основные понятия педагогической тестологии / В. С. Аванесов // Научные проблемы тестового контроля знаний : тез. докл. участников школы-семинара. 4–18 марта 1994 г. – М. : Исслед. центр проблем качества подготовки специалистов, 1994. – С. 105 – 108. 

2.  Кадневский, В. М. История тестов : монография / В. М. Кадневский. – М. : Народное образование, 2004. – 464 с. – ISBN 5-87953-188-0.

3.  Он же. Тесты, история становления / В. М. Кадневский // Педагогическая диагностика. – 2002. – № 1. – С. 9 – 15. 

4.  Он же. Тестовая культура как феномен человеческой цивилизации / В. М. Кадневский // Культурологические исследования в Сибири. – 2003. – № 1(9). – С. 54 – 67.

5.  Современные средства оценивания результатов обучения : учеб. пособие / сост. Е. В. Телеева. – Шадринск : Изд-во Шадрин. пед.

ин-та, 2009. – С. 32 – 34.

Глава 4 ПСИХОЛОГО-ПЕДАГОГИЧЕСКИЕ АСПЕКТЫ 

ТЕСТИРОВАНИЯ

 Личность есть боль. Героическая борьба  за реализацию личности болезненна. Можно  избежать боли, отказавшись от личности. И  человек слишком часто это делает.

                                                                                           Н. А. Бердяев

Практическое задание: а) опросите выпускников школы, в которой Вы учились, и выясните их мнение о том, есть ли необходимость в подготовке к тестированию; б) используя таксономию Б. Блума, подберите глаголы, которые Вам помогут описать деятельность учащихся и учителя, и на их основе придумайте упражнения для достижения запланированных результатов обучения.

Теоретическое задание: познакомьтесь с проектом №11286 «Сравнительный анализ опыта разработки компетентностно-ориентированных образовательных программ в вузах Российской Федерации и ведущих европейских стран (в контексте Болонского процесса) », используя европейские публикации по вопросам написания результатов обучения.

План лекции:

4.1. Роль психологической подготовки к тестированию. Принципы

тестирования и деятельность тестолога. 

4.2. Педагогические измерения в образовании.

4.3.Таксономия образовательных целей и результаты образования.

Подходы к структурированию учебных достижений.

4.4. Педагогическое и психологическое тестирование. 

4.1. Роль психологической подготовки к тестированию.

Принципы тестирования и деятельность тестолога

Ответ на этот вопрос можно полу-

                Ключевые понятия                             чить с различных позиций: педагога,

ƒ таксономия образова- психолога, специалиста по теории педательных целей гогических измерений. Часть учителей, ƒ учебные достижения мало знающих о возможностях тестов,

ƒ психологическое тес-

тирование скорее всего, будут возражать против ƒ педагогическое тести- подготовки к тестированию, поскольку рование обычно подготовка ассоциируется у них с «натаскиванием». На самом деле такая

точка зрения характерна для сторонников традиционного контроля, в котором при рассекречивании содержания предстоящей контрольной работы, состоящей из 5 – 7 заданий, нельзя говорить о достоверности результатов проверки. Иначе складывается ситуация при

подготовке к выполнению тестов, длина которых обычно колеблется от 30 заданий (в математике и физике) до 50 – 60 заданий в гуманитарных предметах. Очевидно, что учащиеся, выполнившие в процессе подготовки к тестированию 100 – 150 заданий, подобных тем, которые будут в тесте, вполне заслуживают высоких оценок, поскольку при таком объёме усвоенного учебного материала речь уже должна идти не о натаскивании, а о хороших знаниях по предмету.

В целом исследования специалистов Влияет ли подготовка показали, что степень улучшения рена результаты выпол- зультатов тестирования зависит от спонения теста? собностей и знаний учащихся, количества и вида предварительных занятий, особенностей тестов. Наиболее полез-

ной подготовка к тестированию оказалась для слабых учащихся, в то время как на результаты сильных учеников, обладающих достаточными знаниями для выполнения теста, она повлияла незначительно. Понятно, что степень положительного влияния предварительной подготовки на изменение результатов тестирования находится в прямой зависимости от тесноты связи между содержанием тренировочных заданий и содержанием теста. 

Конечно, не каждое содержание заданий теста может быть отражено в тренировочных заданиях. Когда речь идет о проверке алгоритмических навыков или репродуктивных умений, то нет ничего плохого в том, что учащийся повторит перед тестированием изученный материал и выполнит предварительно совокупность заданий, похожих на задания теста. Другое дело, когда в тесте предлагаются творческие задания, требующие от испытуемых смекалки и нестандартных решений. Тогда любая тренировка перед тестированием рассекретит содержание теста и сведет на нет все элементы творчества при его выполнении.

Психологи положительно относятся к тренировочному тестированию, поскольку установлено, что предварительная подготовка снижает тревожность в поведении испытуемых во время тестирования и мотивирует к выполнению теста. Слабые учащиеся наиболее подвержены фактору тревожности, который не мотивирует их как сильных испытуемых, а, наоборот, заставляет забыть то немногое, что было выучено при подготовке к экзамену. Поэтому точка зрения психологов во многом совпадает с мнением педагогов: тренировка перед тестированием приносит наибольшую пользу учащимся с недостаточным запасом знаний, она заставляет их поверить в свои силы и мобилизует к выполнению теста.

Специалисты по педагогическим измерениям также считают необходимым проводить тренировки перед тестированием, но их интересует не подготовка к содержанию контролируемых вопросов, а обучение учащихся работе с различными формами тестовых заданий, минимизация потерь времени при занесении ответов в бланки, умения исправить случайные описки в бланках, не обращаясь к экзаменатору, и т.д. 

У тестологов, как всегда, на первом плане находится проблема оценки истинного балла каждого испытуемого, поэтому репетиционное тестирование рассматривается ими с позиций минимизации ошибок измерения. 

Таким образом, небольшая ориентировка по содержанию тестов и несколько практических занятий по выполнению различных форм заданий и заполнению бланков ответов просто необходимы, если вы хотите повысить объективность результатов выполнения тестов.

Этические нормы и принципы тестирования в образовании продиктованы кодексом профессиоКакими принципами должен нальной этики педагога. Они явруководствоваться в своей ляются частью совокупности общечеловеческих норм, регламендеятельности тестолог? тирующих поведение учителя на тестировании в соответствии с

требованиями долга, профессиональной честности, принципами гуманизма и т.д.

К деятельности учителя, выступающего в качестве тестолога, предъявляют ряд специфических требований, вытекающих из особенностей его профессиональных функций в роли специалиста по педагогическим измерениям. В отличие от психолога учитель не является исследователем человеческой личности, в сферу его интересов не попадают скрытые стороны духовной жизни человека. Поэтому требования к этике поведения тестолога в образовании не такие серьезные, как в психодиагностике, где постоянно приходится думать о профессиональной этике в работе с обследуемыми. Однако и в образовании несоблюдение норм специальной этики при проведении тестирования и интерпретации его результатов может привести к нежеланию учащихся выполнять тесты, к непониманию и отсутствию поддержки тестирования со стороны коллег, особенно если результаты тестирования кажутся им необоснованными, затрагивающими их компетентность в преподавании.

Важное требование к деятельности тестолога в образовании – соблюдение принципа конфиденциальности, предполагающего неразглашение сведений о результатах тестирования без согласия ученика, поскольку тест может выявить такие пробелы в подготовке учащихся, которые он предпочел бы скрыть от своих одноклассников. Поэтому до начала тестирования учащихся следует проинформировать относительно сферы использования его тестовых баллов, объяснить, в какой форме они будут выдаваться и кто будет иметь к ним доступ.

При тестировании учащихся следует принимать во внимание принцип доступности, связанный с правом учащегося на получение доступа к содержательной интерпретации тестовых результатов, анализу проблем и неудач в выполнении отдельных заданий теста. Такая же информация, но в интегрированной форме, необходима учителям в целях коррекции методов преподавания. Результаты тестирования должны быть представлены в доступном для понимания виде, они не должны содержать специальные термины и профессиональную лексику в соответствии с задачами повышения качества образования.

Принцип обоснованности и динамического отражения развития учащегося предполагает систематическое обновление данных о подготовленности учащихся, полученных с помощью тестов. Информация о результатах тестирования учащихся должна накапливаться длительное время, поскольку она может оказаться полезной для правильного понимания учителем особенностей развития каждого школьника, динамики прироста его знаний и индивидуальной работы с ним. 

4.2. Педагогические измерения в образовании

Наиболее распространённое определение (введено в 1946 г. американским психологом С. Стивенсом): измерение – это процедура приписывания чисел некоторым характеристикам объектов в соответствии с определенными правилами. Данное определение – результат формального обобщения опыта количественных измерений.

По мере развития педагогики, психологии и социологии возникла потребность во введении качественных оценок для величин, отличающихся по степени проявления того или иного свойства. Качественные оценки являются менее точными по сравнению с количественными в силу применяемых способов и инструментов измерения. Неоднозначность оценивания в образовании усугубляется латентным (скрытым, исключающим возможность непосредственного измерения) характером измеряемых переменных. В силу латентности оце-

ниванию подвергаются не сами ха-

Изменилось ли толкова-

рактеристики обученности и обуние понятия «педагогическое измерение»_? чаемости, а их эмпирические референты – наблюдаемые признаки измеряемых характеристик. Выбор по-

следних происходит интуитивно, поэтому их соответствие латентным характеристикам нуждается в доказательстве на основе экспертного и статистического анализа эмпирических результатов измерения.

Современная теория измерений появилась в 80-х гг. XX в. Она строится на более строгой ак-

Изоморфизм – важное понятие матема-

сиоматической основе. В соот- тики, которое определяет ряд условий ветствии с новыми представ- взаимно однозначного отображения двух лениями измерение трактуется множеств с сохранением их свойств в

процессе такого отображения.  как конструирование числовой функции, осуществляющей изоморфное отображение некоторой эмпирической структуры в соответствующим образом подобранную числовую структуру.

Процесс педагогических измерений включает комплекс составляющих: выбор предмета измерения (латентных характеристик объектов) и их числа; выбор эмпирических референтов (наблюдаемых характеристик объектов); выбор измерительных процедур; конструирование и использование измерительных инструментов; выбор шкалы (если измеряемая переменная одна) или шкал (если измеряют более одной переменной при многомерных измерениях); построение отображения результатов измерения на шкалу (шкалы в случае многомерных измерений) по определённым процедурам и правилам; обработку, анализ и интерпретацию результатов измерения.

Измерительный инструмент включает два компонента: первый  – само измеряющее устройство, второй – заранее подготовленная шкала. Роль измеряющего устройства в педагогических измерениях чаще всего, но не всегда, выполняет тест. В самом обобщённом виде под тестом можно понимать совокупность контрольных заданий в стандартизированной форме, обладающих необходимыми системообразующими статистическими характеристиками и обеспечивающих обоснованные оценки концептуально выделенной переменной (переменных) измерения с высокой объективностью. В самом определении теста заложены требования к его качеству, которые отсутствуют в традиционных оценочных средствах.

Подготовленная шкала служит для фиксации результатов измерения, на ней откладываются оценки (количественные или качественные) измеряемой переменной. Шкала с отложенными оценками переменной – цель измерения. При измерениях с высокой надежностью и валидностью она адекватно отображает оцениваемые характеристики и представляет их без существенных искажений. В зависимости от количества оцениваемых характеристик объекта можно говорить об одномерных (одна переменная) или многомерных (более одной переменной) измерениях. Соответственно по результатам измерения строится одна шкала или несколько шкал, число которых в последнем случае обычно бывает равно числу переменных измерения.

Последний компонент процесса педагогических измерений, включающий обработку, анализ и интерпретацию данных, служит для выявления обеспечиваемого качества результатов измерения, коррекции тестов и представления полученных данных в форме, удобной для интерпретации и сравнения. Благодаря сопоставимости тестовых баллов, достигаемой в процессе обработки, по результатам педагогических измерений можно выстраивать качественный анализ результатов учащихся, проводить мониторинг и принимать обоснованные управленческие решения в образовании.

4.3. Таксономия образовательных целей и результаты образования.

Подходы к структурированию учебных достижений

Понятие «таксономия» было предложено швейцарским ботаником О. Декандолем. В рамках образовательной технологии Бенджамином Блумом в 1956 г. была

Таксономия (от греч. taxis – расположение,

создана первая таксономия          строй, порядок и nomos – закон) – теория педагогических целей. При          классификации и систематизации сложно орэтом Б. Блум и Д. Кратволь    ганизованных областей действительности, обычно имеющих иерархическое строение. разделили цели образования на три области: когнитивную (требования к освоению содержания предмета), психомоторную   (развитие двигательной,    нервномышечной деятельности) и аффективную (эмоционально-ценностная область, отношение к изучаемому).

Первая таксономия, охватывающая когнитивную область, включает в себя шесть категорий целей: 

¾    знание (конкретного материала, терминологии, фактов, определений, критериев и т.д.);

¾    понимание (объяснение, интерпретация, экстраполяция); ¾ применение;

¾    анализ (взаимосвязей, принципов построения);

¾    синтез (разработка плана и возможной системы действий, получение системы абстрактных отношений);

¾    оценка (суждение на основе имеющихся данных, суждение на основе внешних критериев).  

В основу отечественных разработок положен уровневый системный подход описания достижений учащихся, который позволяет сгруппировать результаты обучения в зависимости от уровней учебной деятельности. В классификации, предложенной В. И. Тесленко, выделены следующие этапы усвоения знаний:

1)                    информационный (узнавание известной информации);

2)                    репродуктивный (воспроизведение информации и преобразования алгоритмического характера);

3)                    базовый (понимание существенных сторон учебной информации, владение общими принципами поиска алгоритма);

4)                    повышенный (преобразование алгоритма, умение вести эвристический поиск);

5)                    творческий (самостоятельное критическое оценивание учебной информации, умение решать нестандартные задания, владение элементами исследовательской деятельности).

Некоторые учёные различают пять уровней усвоения учебного материала. «Нулевой» уровень (условное название Понимание) – это уровень, при котором учащийся способен понимать, т.е. осмысленно воспринимать новую для него информацию. Первый уровень (Опознание) – это узнавание изучаемых объектов и процессов при повторном восприятии ранее усвоенной информации о них или действий с ними, например, выделение изучаемого объекта из ряда предъявленных различных объектов. Второй уровень (Воспроизведение) – это воспроизведение усвоенных ранее знаний от буквальной копии до применения в типовых ситуациях. Третий уровень (Применение) – это уровень усвоения информации, при котором учащийся способен самостоятельно воспроизводить и преобразовывать усвоенную информацию для обсуждения известных объектов и применения её в разнообразных нетиповых (реальных) ситуациях. При этом учащийся способен генерировать субъективно новую (новую для него) информацию об изучаемых объектах и действиях с ними. Четвертый уровень (Творческая деятельность) – это такой уровень владения учебным материалом темы, при котором учащийся способен создавать объективно новую информацию (ранее неизвестную никому). 

4.4. Педагогическое и психологическое тестирование

Общие подходы к интерпретации результатов педагогических измерений основаны на способе сравнения оценки учеников. Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы – выборки учащихся, выполнявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативноориентированный подход). Согласно другому подходу результаты испытуемых интерпретируются по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (критериально-ориентированный подход). Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. 

Основная цель нормативно-ориентированного тестирования заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться поразному, поскольку он будет выгля-

деть лучше на фоне более слабой, чем более сильной группы. Для корректной интерпретации результатов тестирования балл каждого учащегося необходимо сравнивать с нормами выполнения теста.

Нормы – это совокупность показателей, отражающая результаты выполнения теста четко определенной выборкой испытуемых – релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых учащихся. Процесс определения норм называется стандартизацией теста. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой – обязательный момент при определении норм теста. При формировании выборки стандартизации необходимо учитывать две переменные – объём и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.

К нормам предъявляют следующие требования:

-                    быть дифференцированными;

-                    отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из современной ситуации в образовании;

-                    быть репрезентативными.

При критериально-ориентированном подходе в педагогических измерениях результаты учащихся интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. При дихотомическом оценивании («I» или «О») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полученный для каждого учащегося процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста.

Началу обучения соответствует Какие задачи преимущест-     входное тестирование, позвовенно решает тестирование       ляющее выявить степень влапри входном контроле?    дения базовыми знаниями, умениями и навыками, необходимыми для начала обучения, и опре-

делить уровень владения новым материалом до начала его изучения в классе. 

Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа. Претесты первого типа позволяют выявить готовность к усвоению новых знаний в классе. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те, кто может двигаться дальше, а в другую – те, кто нуждается в дополнительной работе и консультациях педагога.

Претесты второго типа разрабатываются в рамках нормативноориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на новом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуализации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обучения необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.

Для текущего контроля разрабатывают корректирующие и диагностические тесты. Корректирующие тесты, как правило, являются критериально-ориентированными: если процент ошибок учащегося превышает критериальный балл, Изменяются ли задачи то его знания нуждаются в корректестирования  ции. С помощью корректирующих при текущем контроле? тестов можно найти слабые места в подготовке учащихся и выявить направления индивидуальной по-

мощи в освоении нового материала.

Если затруднения ученика при выполнении заданий носят систематический характер, то педагог может прибегнуть к помощи диагностических тестов. Основная цель диагностики – установление причин пробелов в знаниях учеников – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчитанные по форме представления на отслеживание отдельных этапов выполнения каждого задания корректирующего теста. Подробная детализация позволяет выявить причины устойчивых ошибок учеников, конкретизировать характер возникающих затруднений и получить выводы о несформированости тех или иных учебных умений.

Основная цель итогового тестирования – обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию учащихся (нормативно-ориентированные тесты). 

Итоговые тесты обычно подвергаются стандартизации, поскольку чаще всего они применяются для принятия административных управленческих решений в образовании. Если проведение входного и текущего тестирования – функция учителя, то итоговое тестирование часто проводится внешними структурами и носит характер независимых проверок. Примером независимого итогового тестирования в России является ЕГЭ, тестирование при аттестации школ и т.д. 

Вопросы и задания

1.     Каково ваше отношение к тестам в образовании? Под влиянием каких факторов оно сложилось? Проходили ли Вы когда-нибудь психологическое тестирование? Если да, то состоялась ли после него беседа о результатах тестирования?  

2.     Каковы приоритетные направления исследований в теории педагогических измерений? Какие из них, по Вашему мнению, являются первоочередными для развития тестирования в школах России?

3.     Как Вы представляете себе деятельность тестолога? Опишите этапы его деятельности, выделяя существенные из них.

4.     Выберите один из подходов к структурированию учебных достижений и на его основе разработайте тематический тест для учащихся основной школы.

5.     Приведите примеры нормативно-ориентированного и критериально-ориентированного тестов. По какому из них Вы пожелали бы пройти тестирование? Обоснуйте свою позицию.

Список рекомендуемой литературы

1.  Анастази, А. Психологическое тестирование / А. Анастази, С. Урбина. – СПб., 2002.

2.  Ким, В. С. Развивающая функция тестовых заданий / В. С. Ким // Педагогические измерения.  – 2007. – № 1. – С.77 – 84. 

3.  Кеннеди, Д. Написание и применение результатов обучения : практ. рук. / Д. Кеннеди ; пер. Е. Н. Карачаровой. – Ун-т Корк (Ирландия),  2007.  4. Чибисова, М. Ю. Единый государственный экзамен: психологическая подготовка / М. Ю. Чибисова. – М. : Генезис, 2004.

Глава 5 ПЕДАГОГИЧЕСКИЕ ТЕСТЫ. ВИДЫ ТЕСТОВ И ФОРМЫ

ТЕСТОВЫХ ЗАДАНИЙ

          Оценка с помощью типов упрощает    задачу тому, кто оценивает, поскольку она   освобождает человека от ответственно    сти за это оценочное суждение.

Виктор Эмиль Франкл

Практическое задание: отберите и решите несколько тестовых заданий по математике разных по форме, составьте вопросы для их обсуждения. 

Теоретическое задание: изучите один из двух вопросов: а) методика разработки дидактических тестов, б) технология конструирования дидактического теста [5].

План лекции:

5.1. История становления понятия «педагогический тест».

5.2. Понятие «педагогический тест». Классификация педагогических тестов.

5.3. Методика разработки педагогических тестов.

5.4. Формы тестовых заданий.

5.1. История становления понятия «педагогический тест»

Разработка первого педагогического теста принадлежит американскому психологу Э. Торндайку^[14]. Первый стандартизированный педагогический тест, снабженный нормами – тест на решение арифметических задач. Современное понимание тестов и процесса тестирования можно развести по уровням. В работе А.Н. Майорова выделено три таких уровня.

Ключевые понятия 

ƒ педагогический тест

ƒ нормативноориентированный тест

ƒ критериальноориентированный тест

ƒ тестовое задание

ƒ требования к тестовому заданию

ƒ формы тестового  задания

Первый уровень – «бытовой», где тест понимается как набор вопросов с вариантами ответов, который стоит в одном ряду с головоломками, кроссвордами. Второй уровень – «словарный», где выделяются основные составляющие понятия тестирования, но не учитываются особенности процедуры создания, использования, анализа, специфичные для той или иной сферы применения. Третий уровень – «научный». Данный уро-

вень наиболее точен, т.к. учитывает особенности тестов и отражает требования к ним, которые появляются в процессе развития и научного обоснования тестирования.

Современное состояние тестологии находится на втором уровне понимания тестов. Исследования в области педагогического тестирования привели к достаточно интенсивной разработке его отдельных аспектов и породили множество подходов к определению понятий «тест» и  «тестовое задание». Приведём некоторые из них.

Тест – краткое стандартизированное испытание, предназначенное не только для получения объективной количественной оценки результатов обучения, но и для распознавания интересующих особенностей и качеств личности.

Тест – стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого.

Тест – краткое стандартизированное испытание, допускающее количественную оценку результатов на основе их статистической обработки.

Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенной для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.

5.2. Понятие «педагогический тест».

Классификация педагогических тестов

В.С. Аванесов даёт чёткое определение педагогического теста: педагогический тест – это совокупность взаимосвязанных заданий возрастающей сложности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности. В данном         определении основной   упор Чем же отличается   делается на систему взаимосвязанных обычный тест от      заданий возрастающей сложности.

               педагогического?                              В.С. Аванесов особо выделяет так

называемые традиционные тесты, кото-

рые представляют собой единство трех систем: содержательной системы знаний, описываемой языком проверяемой учебной дисциплины; формальной системы заданий возрастающей трудности; статистических характеристик заданий и испытуемых. Ведущая идея традиционного теста – минимумом числа заданий, за короткое время, быстро, качественно и с наименьшими затратами сравнить знания как можно большего числа испытуемых. Исходя из этих положений педагогическим тестом называют систему определенным образом расположенных заданий, позволяющих выявить структуру знаний, умений и измерить их. 

Педагогические тесты весьма разнообразны. С точки зрения целей применения можно выделить: тесты достижений; критериальноориентированные тесты, позволяющие сопоставить уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков; нормативно-ориентированные тесты, сравнивающие испытуемых по уровню их учебных достижений; аттестационные тесты, определяющие степень обученности; тесты прогнозирования результатов обучения по выбранной технологии обучения.

Рассмотрим типологию тестов по ряду оснований:

¾    по процедуре создания выделяют стандартизированные и нестандартизированные тесты;

¾    по средствам предъявления: бланковые; предметные; аппаратные; практические; компьютерные; адаптивные;

¾    по направленности: тесты интеллекта, личностные тесты и тесты достижений;

¾    по характеру действий: вербальные, невербальные;

¾    по ведущей ориентации: тесты скорости, тесты результативности  и смешанные тесты;

¾    по степени однородности задач: гомогенные, гетерогенные;

¾    объективные тесты и проективные тесты;

¾    широкоориентированные и узкоориентированные тесты;

¾    по целям использования: определяющие тесты; формирующие тесты; диагностические тесты; суммирующие тесты;

¾    по широте использования: для использования учителем, группой учителей или администрацией образовательного учреждения; для целей отбора, формирования групп и аттестации учащихся.

В последнее время всё большее признание в нашей стране  получают критериально-ориентированные тесты. Выделяют два вида критериально-ориентированных тестов, отличающихся друг от друга по ряду характеристик. Первый вид предназначен для оценки доли

                                                                                                                           учебного     материала      от

В чём различие нормативно-

полного его объема, котоориентированного и критериально-

рую усвоил испытуемый. ориентированного тестов?

Если полный уровень  объема учебного материала

условно принимается за 100 %, то уровень учебных достижений каждого испытуемого выражается в проценте от полного объема области содержания теста. Второй вид критериально-ориентированных тестов используется для классификации испытуемых, разделения их на группы на основании заранее выбранного критерия. Здесь уже не рекомендуется выбирать критерий, равный 100 %.

Наиболее существенные различия между нормативно-ориентированными и критериально-ориентированными тестами представлены в табл. 4.

Таблица  4 Различия между нормативно-ориентированными  и критериально-ориентированными тестами

5.3. Методика разработки педагогических тестов

Процесс разработки тестов достижений делится на несколько исследовательских этапов:

¾    подбор типичных ситуаций, которые возникают в профессиональной деятельности;

¾    разработка методов перевода ситуаций на язык педагогических задач;

¾    разработка нескольких вариантов решения педагогических задач;

¾    определение ценности (веса) различных решений по каждой конкретной педагогической задаче;

¾    перевод педагогической задачи в тестовое задание;

¾    установление правильной последовательности предъявления системы заданий, составляющих тест достижений;

¾    экспериментальная проверка теста, заполнение технологической карты распределения заданий теста по видам деятельности.

В первоначальном варианте тест достижений имеет избыточное число заданий, часть которых после первой экспериментальной проверки убирается. Для каждого задания устанавливается свой эталон ответа. При подготовке тестов достижений применяется экспертная оценка знаний и умений, осуществляемая параллельно с тестированием. Сначала испытуемые выполняют тест, после этого их опрашивает группа экспертов. Баллы по тестам сопоставляют с оценками. Процент совпадений должен быть высок – 85 – 90 %. Это является гарантией, что в тест включен основной материал по предмету.

Нормативно-ориентированные тесты имеют свою специфику, связанную с их основной задачей – дифференцировать испытуемых. При разработке данных тестов стараются добиться высокой вариативности тестовых баллов. Если большинство испытуемых получают только низкие или только высокие баллы, то труднее устанавливать между ними различия. Если же вариативность баллов высокая, то дифференцировать испытуемых легко. Нормативно-ориентированные тесты разрабатываются таким образом, чтобы распределение баллов было близко к нормальному.

Понимание нормативной и критериальной ориентированности как разных подходов к интерпретации результатов дается в работах В.С. Аванесова^[15]: «для нормативно-ориентированной ориентации вывод достраивается рейтингом: задания → ответы → выводы о знаниях испытуемого → рейтинг, понимаемый как вывод о месте или ранге испытуемого»; «для критериально-ориентированной интерпретации вывод выстраивается вдоль логической цепочки: задания → ответы → выводы о соответствии испытуемого заданному критерию». 

5.4. Формы тестовых заданий

Перед определением форм тестового задания необходимо подробно рассмотреть следующее определение теста: тест – это краткое стандартизированное испытание, допускающее количественную оценку результатов на основе их статистической обработки.

Во-первых, «испытание» всегда сопряжено с системой заданий, на основании анализа результатов выполнения которой предстоит провести количественную оценку измеряемым качествам и свойствам. Каждое из заданий теста по своей сути представляет для испытуемого вопрос, проблему. Ответ на вопрос – это всегда устранение некоторых сомнений, колебаний, неопределенности в рассматриваемой ситуации с целью получения новых, более точных знаний. Поэтому среди заданий теста различают: задания информативного характера; задание, решение которых может быть осуществлено алгоритмическим способом; проблемы, для решения которых необходим эвристический поиск. При этом информация, содержащаяся в тексте задания, может быть представлена в явном виде или же в скрытой форме, требующей для ее извлечения выполнения более или менее сложных операций, что повышает сложность заданий.

Во-вторых, под «стандартизированным испытанием», всегда понимают такое испытание, при котором все выполняющие задания находятся в одинаковых, строго оговоренных условиях. Тогда возможно сравнение результатов тестирования, доведение их до числа. А стандартизированная форма оценки позволяет соотнести уровень достижений школьника по учебному предмету в целом и по отдельным его разделам со средним уровнем достижений учащихся в классе и уровням достижений каждого из них.

В-третьих, тест позволяет получить «количественную оценку» результатов тестирования. Поскольку измеряются непрерывно изменяющиеся, недискретные величины, то для доведения результатов измерения до числа используются специальные шкалы. Шкала – это определенная последовательность числовых значений результатов измерительных операций, примененных к эмпирической системе.

Формы тестов имеют свою специфику и сферу применения. В настоящее время разработаны и используются две группы тестовых форм заданий и несколько разновидОграничен ли набор форм ностей. Задания в закрытой форме: ^{тестовых заданий?} задания с выбором ответов; альтернативные задания; задания на классифи-

кацию; задания на обнаружение правильной последовательности. Задания в открытой форме: задания, в которых необходимо указать ответ; задания в свободной форме.

Тестовые задания в закрытой форме сконструированы так, что вся информация, необходимая для выполнения задания, присутствует в нем, «закрыта». Задания с выбором ответов – тестовые задания, содержание которых сопровождается несколькими нумерованными вариантами ответа. Испытуемому предлагается выбрать номер правильного ответа из предлагаемых вариантов, которые являются неверными, т.е. дистракторами. Дистрактор (отвлекающий ответ) – вариант ответа на тестовое задание закрытого типа, похожий на правильный, но не являющийся таковым. В заданиях такого вида обычно используют 3 – 4 дистрактора. При этом следует учесть важное требование: в ответах к заданию обязательно должен быть верный ответ и он должен быть только один.  

Альтернативные задания – задания, к которым предполагаются только два ответа (задания, имеющие один дистрактор). Как правило, альтернативная форма используется тогда, когда задание предполагает только два возможных ответа: «верно – неверно», «будет – не будет», «является – не является» и т.д.

Задания на классификацию задаются двумя множествами объектов, между которыми необходимо установить соответствие. Соответствие должно быть однозначным. Содержание задания часто выражается в виде двух множеств с соответствующими названиями, которые могут располагаться столбцами, элементы задающего столбца слева, а элементы выбора – справа. В правом столбце возможно наличие дистракторов (одного или более).

Задания на обнаружение правильной последовательности  удобно использовать для проверки усвоения правильной последовательности событий, правильной последовательности действий, действий правильности расположения объектов, событий в заданном порядке. Задания такого вида используют для выявления усвоения алгоритмов, способов действия.

Оценка тестовых заданий в закрытой форме дихотомическая (успешно выполненное задание – 1 балл, неуспешное – 0 баллов).

Задание открытой формы – тестовое задание без указания возможных вариантов ответа; испытуемому предлагается самостоятельно указать правильный ответ либо привести обоснование ответа решения задания. Ответ или решение должен вписать ученик; т.е. не вся информация содержится в задании, часть ее ученик должен привнести, т.е. задание «открыто» для информации. Задания этой формы не имеют никаких ограничений на содержание и форму представления ответов. Задания в открытой форме имеют две разновидности. Задания открытой формы, в которых необходимо указать ответ. В инструкции по выполнению задания говорится, что ответом на задания этой части будет некоторое слово, формула, символ или число, которое надо вписать на месте прочерка в тексте задания или в специально отведенном месте, занести в бланк ответов рядом с номером задания. Задания в свободной форме направлены на выявление способности создавать собственный продукт на основе общих приемов его построения. Задания, предлагаемые ученикам в свободной форме, как правило, творческого уровня, и при их проверке важным является не только ответ к заданию, но и сам ход решения. Поэтому такие задания оцениваются большим количеством баллов, чем задания предыдущих форм, т.е. являются политомическими. 

Политомическое тестовое задание – задание, выполнение которого допускает несколько категорий оценки ответа, каждая из которых оценивается по-разному (например, полностью верный ответ – 2 балла, частично верный ответ – 1 балл, неверный ответ – 0 баллов). 

При подборе заданий для контроля целесообразно использовать различные формы тестов, учитывая их особенности. Выбор форм тестовых заданий определяется спецификой содержания учебной дисциплины, целями создания и применения теста. В каждом тесте можно использовать несколько форм, но желательно, чтобы их было в одном тесте как можно меньше. 

Вопросы и задания

1.  Проведите сопоставительный анализ форм тестовых заданий и составьте таблицу соответствия технологических характеристик и формы тестового задания.

2.  Приведите пример программно-дидактического теста и продумайте методические рекомендации по его использованию в практике обучения математике.

3.  Как Вы думаете, можно ли одно и то же содержание, выбранное для проверки, предъявить учащимся в виде тестового задания разной формы? Ответ обоснуйте.

Список рекомендуемой литературы

1.     Васильев, В. И. Теория и практика формирования программнодидактических тестов / В. И. Васильев, Т. Н. Тягунова. – М. : Издво МЭСИ, 2001. – 130 с.

2.     Майоров, А. Н. Теория и практика создания тестов для системы образования / А. Н. Майоров. – М., 2000.

3.     Макарова, Т. Д. Тестирование в системе мониторинга качества образования / Т. Д. Макарова // Стандарты и мониторинг в образовании. – 1998. – № 1. – С. 60 – 61.

4.     Мельникова, М. Б. Теория и практика конструирования педагогических тестов / М. Б. Мельникова. – М., 2002. 

5.     Михайлычев, Е. А. Дидактическая тестология / Е. А. Михайлычев. – М. : Народное образование, 2001. – 432 с.

Глава 6 КОНТРОЛЬНЫЕ ИЗМЕРИТЕЛЬНЫЕ МАТЕРИАЛЫ 

И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

          Где мудрость, утраченная нами           ради знания? Где знание, утраченное        нами ради сведений?

                                                                           Томас Стернз Элиот

Практическое задание: найдите существенные отличия контрольных измерительных материалов ГИА и заданий, предложенных на итоговой аттестации.

Теоретическое задание: на основе анализа контрольных измерительных материалов ЕГЭ опишите их структуру и содержание.

План лекции:

6.1. Контрольные измерительные материалы (КИМ).

6.2. Технология разработки контрольных измерительных материа-

лов.

6.3. Шкалирование результатов ГИА и ЕГЭ и их использование в управлении качеством образования.

6.1. Контрольные измерительные материалы В структуре КИМ до 2010 г. выделяли три части (А, В, C), имеющие различное число заданий в зависимости от предмета. В части А по всем предметам содержатся только задания с выбором ответов. Задания части В значительно варьируют по форме и предполагают возможность краткого регламентированного ответа, установления соответствия между элементами двух множеств и

правильной последовательности различных процессов, явлений, объектов. Часть С предназначается для свободного конструирования ответа. Например, по математике – дать развернутые решения заданий и т.д. С 2010 г. выделяют две части: ЕГЭ – В и C; ГИА – 1-я и 2-я части, имеющие различное число заданий.

Содержание КИМ предназначено

Изменяется ли структура  для получения персонифициро-

и содержание контрольных измерительных материалов? ванной информации о достижении выпускниками школ базового и повышенного уровней под-

готовки по предметам. Поскольку при аттестации требуется проверить освоение выпускниками большинства элементов предметной подготовки, а время экзамена ограничено, для повышения репрезентативности охвата содержания образования приходится варьировать спецификацией контрольных измерительных материалов ГИА и ЕГЭ незначительно внутри одного года и более существенно по годам. Благодаря специальному планированию, осуществляемому предметными комиссиями по разработке КИМ, за 2 – 3 года удается охватить все необходимые содержательные элементы. 

В целом содержание КИМ отбирается на основе спецификаций, которые ежегодно обновляются в Интернете и включают обобщенные планы экзаменационных работ со ссылками на соответствующие позиции кодификаторов (пронумерованных перечней содержательных элементов по предметам). В содержании КИМ отображаются только предметные знания и умения, которым обучают в школе, хотя это противоречит современным воззрениям на приоритеты в обучении, принятым во многих странах. Вследствие этого российские учащиеся показывают невысокие результаты в международных сравнительных исследованиях качества образования. Они не умеют выполнять задания, требующие применения знаний в ситуациях, имитирующих жизненные, или междисциплинарных умений.

6.2. Технология разработки контрольных измерительных

материалов

Технологический ежегодный цикл разработки КИМ по предмету начинается с пересмотра кодификатора элементов содержания, подлежащих проверке, а также с создания спецификации и демонстрационного варианта КИМ. Обычно по 13 предметам, заявленным в ЕГЭ, ежегодно разрабатывается не менее 10 тыс. новых заданий. Помимо целевого заказа на задания для пополнения банка ГИА и ЕГЭ объявляется конкурс, в котором принимают участие все желающие авторы тестовых заданий из различных регионов России. Материалы, представленные на конкурс, проходят экспертизу, по результатам которой осуществляется отбор и покупка тестовых заданий для банка ГИА и ЕГЭ.

Специалисты ФИПИ, используя банк, формируют варианты КИМ. Затем проводится экспертиза качества содержания вариантов, анализ их параллельности и соответствие заданий требованиям тестовой формы. После коррекции, основанной на результатах экспертизы, КИМ передаются на апробацию, проводимую на репрезентативных выборках учащихся школ России. Обработка данных апробации и их анализ позволяют выполнить очередную коррекцию, после завершения которой получаются эквивалентные варианты КИМ с комплектами сопроводительной документации для проведения ГИА и ЕГЭ, созданные в условиях высокого уровня информационной безопасности и хранящиеся в специальных помещениях до начала ЕГЭ.

После проведения экзамена и обработки данных специалисты ФИПИ готовят аналитический отчет, содержащий рекомендации по совершенствованию КИМ, которые учитываются при выполнении очередного ежегодного технологического цикла.

6.3. Шкалирование результатов ГИА и ЕГЭ и их использование в управлении качеством образования

В соответствии с заявленными

Какие шкалы использу- целями и решаемыми задачами по ются при проведении данным ЕГЭ (до 2007 г.) выста-

ГИА и ЕГЭ? вляются две оценки – в сто- и пятибалльной школьной шкале. Первую получают специалисты Федерального

центра тестирования (ФЦТ) путем шкалирования первичных данных ЕГЭ, преобразования их в стандартную шкалу логитов на основе современной теории тестов. Вторая, школьная, выбирается специалистами группы по шкалированию, организуемой Рособрнадзором во время экзаменов и состоящей из тестологов, представителей предметных комиссий ФИПИ и сотрудников ФЦТ.

Для выбора границ интервалов стобалльной шкалы и установления их соответствия оценкам четырехбалльной шкалы результаты ЕГЭ по каждому предмету и всем регионам подвергаются многоаспектному анализу, включающему проблемы содержательной валидности школьных баллов и сопоставимости оценок по предмету в ЕГЭ разных лет.

Для обеспечения содержательной сопоставимости результатов тестирования многие страны, в которых есть национальные экзамены в форме тестов или другие Чем обоснована необходимость виды массового тестировадостижения  сопоставимости ния, вводят стандартизованрезультатов ЕГЭ разных лет? ные уровневые шкалы, позволяющие проследить связь

между содержанием тестов но годам. Важное преимущество уровневых шкал заключается в расширении возможности интерпретации результатов экзаменов, поскольку тестовый балл можно дополнять содержательным описанием подготовки выпускников школ в терминах, освоенных и неосвоенных тематических элементов предмета.

В терминах теории педагогических измерений сопоставимость означает возможность переноса результатов тестирования различных лет на единую шкалу. Сопоставимость обеспечивает выпускнику возможность однократной сдачи ЕГЭ и использования своих результатов при неудачном поступлении в вуз в последующие годы, а управленцам – возможность проведения сравнительных исследований качества образования.

На основе якорного теста определяются репрезентативные общенациональные нормы по различным предметам. Cобранные данные служат для построения шкалы единых показателей. Каждый новый тест в последующие годы калибруется относительно якорного теста. Для построения таблиц перевода в общем случае на одной и той же выборке испытуемых обычно используют метод равных перцентилей^[16], согласно которому показатели считаются эквивалентными, если они имеют равные перцентили и получены на нормальной группе сравнения по параллельным вариантам тестов. К недостаткам метода можно отнести высокую стоимость, неизбежную коррекцию и совершенствование содержания тестов, изменение содержания образования и приоритетов в учебных достижениях, а к достоинствам – стабильность и высокую точность, поскольку результаты по всем последующим версиям тестов сравниваются с одним якорным тестом.

В связи с появлением теории IRT стали использовать более эффективные технологии, обеспечивающие сопоставимость результатов тестирования по различным годам. Эта технология основана на включении в тесты различных лет групп якорных (общих) заданий, связывающих цепочкой результаты по более поздним и более ранним версиям теста. Отсчёт ведется от шкалы, построенной на эталонной группе сравнения. Тем Как результаты ГИА и ЕГЭ исполь-  самым каждый вариант зуются Общероссийской системой     очередной версии теста оценки качества образования?    благодаря блоку общих заданий связывается с

предыдущим и последующим вариантами батареи тестов.

ГИА и ЕГЭ является неотъемлемым структурным элементом ОСОКО и обеспечивает объективную информацию о реальном состоянии качества школьного образования. Данные ГИА и ЕГЭ позволяют получить оценки состояния образовательных достижений выпускников школ, выявить тенденции и динамику изменения системы среднего образования, сформировать совокупность осно-вных факторов, влияющих на качество образования в различных регионах, и оценить меру их влияния.

ГИА и ЕГЭ не является единственным информационным источником ОСОКО. Несомненно, что помимо собранной в процессе экзамена информации о предметных знаниях и умениях выпускников школ необходимы дополнительные данные. Их перечень должен характеризовать состояние качества образования на различных ступенях (например, оценки умений применять знания, собранные с помощью портфолио; оценки общеучебных и коммуникативных умений; результаты участия учащихся в олимпиадах и творческих конкурсах и т.д.).

Важным требованием, обеспечивающим корректность использования данных ГИА и ЕГЭ в ОСОКО, является учёт различных факторов при интерпретации результатов экзамена, лежащих зачастую за пределами влияния школы, но существенно влияющих на качество образования.

Вопросы и задания

1.  Почему российские учащиеся показывают невысокие результаты в международных сравнительных исследованиях качества образования? Зависит ли это от содержания КИМ? Приведите примеры заданий математического содержания международных исследований PISA и TIMSS.

2.  Сколько этапов можно выделить в технологии разработки КИМ? Какие из них самые важные для создания качественных контрольно-измерительных материалов?

3.  Изменилась ли шкала результатов при проведении ЕГЭ? Если да, то в каком году это произошло? Как Вы думаете, смена шкалы влияет на уровень учебных достижений школьников?

4.  Выполните каждое задание первой части ГИА или ЕГЭ не менее чем двумя способами, хронометрируя своё решение. Выполняли ли Вы при этом проверку? 

Список рекомендуемой литературы

1.    Дорофеев, Г. В. Единый государственный экзамен по математике и тестирование / Г. В. Дорофеев // Математика в школе. – № 7. – 2001. – С. 63.

2.    Ковалева, Г. С. Подходы к разработке контрольно-измерительных материалов для ЕГЭ / Г. С. Ковалева // Школьные технологии. – 2003. –  № 4. – С. 142 – 149. 

Глава 7 СОДЕРЖАНИЕ И СТРУКТУРА  ТЕСТОВЫХ ЗАДАНИЙ ПО МАТЕМАТИКЕ

Об уме человека легче судить по его

 вопросам, чем по его ответам.

                                        Гастон де Левис

Практическое задание: сравните по выбранной Вами теме задание из действующего учебника математики и тестовое задание из контрольно-измерительных материалов по содержанию, структуре и форме предъявления.

Теоретическое задание: изучите принципы отбора ответов и принципы содержания тестовых заданий, составьте рекомендации по конструированию тестового задания для выпускников 9 и 11 классов. План лекции:

7.1. Требования к конструированию тестовых заданий.

7.2. Структура тестового задания. Принципы отбора ответов и содержания тестовых заданий.

7.3. ГИА и ЕГЭ: спецификация, кодификатор, демоверсия – 2012.

7.1. Требования к конструированию тестовых заданий

Для достижения высокого качест-

                    Ключевые понятия                   ва образования, необходимо следовать

                                                                         правилу качественного подбора изме-

ƒ требования к конст- рителей. Как всякий хороший измерируированию тестового

                   задания                                      тельный инструмент, тест должен отве-

ƒ структура тестового      чать определенным требованиям.

задания 

ƒ требования к структуре тестового задания 

ƒ спецификация

ƒ кодификатор

ƒ демоверсия

1.                Содержательная валидность – соответствие содержания теста проверяемому содержанию.

2.                Уровневая валидность – соответствие уровня задания проверяемому уровню.

3.                Определенность – обеспечение общепонятности формулировок заданий всеми учащимися.

4.                Однозначность – создание эталона ответа,  соответствующего полному и правильному решению заданий.

5.                Надежность – показатель  точности  и устойчивости результатов  измерения  с помощью теста при его многократном применении. Характеризует степень адекватности отражения тестом соответствующей генеральной совокупности заданий.

6.                Стандартизованность – наличие определенных норм его выполнения (среднее, стандартное отклонение и т.д.) для интерпретации результатов применительно к испытуемым из различных выборок. Стандартизованный тест – тест, прошедший апробацию на репрезентативной выборке.

Тестовое задание должно содержать инструкцию по его использованию. Инструкция тестового задания – словесные указания испытуемому, связанные с выполнением тестового задания (выбором правильного ответа из нескольких вариантов; решением математической задачи и т.п.). Указывается способ записи правильного ответа (что, каким образом и где надо отметить, вписать и т.д.). Инструкция может быть единой для нескольких заданий теста, если эти задания однотипны по действиям. Рассматривая типы тестовых заданий, можно выделить требования к их конструированию. Тестовые задания закрытого типа предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос. Иногда варианты неверных ответов называют дистракторами (от английского distract – отвлечение внимания).

Задания закрытого типа. Задания альтернативных ответов. К каждому заданию  только два варианта ответов. Испытуемый должен выбрать один из них: «да – нет», «верно – неверно», «правильно – неправильно» и пр. Инструкция для заданий альтернативных ответов дается, как правило, в следующем виде: а) обведите кружком вариант ответа «да» или «нет», который вы считаете правильным; б) обведите ответ «да» или «нет». (Если согласны с утверждением, обведите кружком «да», а если не согласны – обведите «нет»).  

Задания альтернативных ответов являются самыми простыми,  но не самыми распространёнными при составлении тестов. Это связано в основном со специфичностью того материала, которому в большей степени соответствует эта форма заданий. Задания альтернативных ответов предназначены для оценки одного элемента знаний.

Пример

Инструкция. Обведите ответ «да» или «нет» (если согласны с утверждением – обведите кружком «да» в клеточке таблицы ответов, а если не согласны – обведите «нет»). 

Утверждение. Тестовое задание – это минимальная законченная часть теста в виде проверочного задания специфической формы.

Варианты ответа:

Эталон ответа: да.

Таким образом, при конструировании тестового задания в форме альтернативных ответов должны быть соблюдены следующие условия: приведена инструкция, в которой поясняется способ выбора ответа; сформулирован однозначно воспринимаемый вопрос (суждение, утверждение); задание представлено в одной из приведенных выше форм; приведен эталон верного ответа. 

Задания множественного выбора предполагают наличие вариативности в выборе ответа. Испытуемый должен выбрать правильный ответ из предложенных вариантов ответов. Инструкция для заданий множественного выбора имеет вид: обведите кружком букву, соответствующую варианту ответа или запишите выбранную букву ответа в специально отведенное место. 

Форма представления:

Задание (утверждение):

А. Вариант ответа 1

В. Вариант ответа 2

С. Вариант ответа 3

Д. Вариант ответа 4

Эталон ответа: _________

Пример

Инструкция. Обведите кружком букву, соответствующую правильному ответу.  Задание. Катер плывет по реке, скорость течения равна a км/ч, скорость катера в стоячей воде равна b км/ч. Какая из следующих формул выражает время, затра-

ченное катером на путь в 30 км вниз по течению и обратно? (Время стоянки не учитывается). 

Варианты ответа: 

                 2b − a                           30 ^{+ 30} ;

    А.            ;              С. 

                      60                                a      b

    В.   30 + 30 ;     Д.  ³⁰ + ³⁰ . a + b    b − a   a −b    b + a

Эталон ответа: В.

Таким образом, при конструировании задания множественного выбора следует сформулировать: инструкцию по выбору или записи ответа; вопрос – задание и соблюсти форму предъявления задания, а также подобрать не менее трех-четырех ответов (оптимальное количество – пять ответов), среди которых имеется один верный, и указать эталон ответа. Иногда к заданиям множественного выбора относят задания, предполагающие несколько правильных ответов. В этом случае задание считается выполненным верно, если испытуемый указал все верные и только верные ответы. 

В заданиях на восстановление соответствия необходимо найти или приравнять части, элементы, понятия – конструкциям, фигурам, утверждениям; восстановить соответствие между элементами двух списков. К этому же типу следует отнести задания, в которых требуется установить порядок ряда (упорядочить). 

Инструкция. Соотнесите написанное в столбцах 1 и 2 (запишите в таблицу ответов цифры из столбца 2, которые соответствуют утверждениям из первого списка). 

Пример 

Инструкция. Соотнесите формулы задания функций с их конкретными примерами, заполнив пропуски в ответе:

1.   у = kx + b;             А. у = - 5x³;

2.   у = ax² + bx + c;   Б. у = 2^x;

3.   у = a^x;                    В. у = 1+ 0,5x²;

4.   у = kx³;                   Г. у = 5 – x;                            

                                   Д. у = – x² + 2x;

Ответ: 1 – ___, 2 – ____, 3 – ____, 4 – ____. 

Эталон ответа: 1 – Г; 2 – В, Д; 3 – Б; 4 – А. 

Эта форма заданий достаточно разнообразна и может быть использована по всем учебным предметам и предметным областям.

Число входных данных одного списка не

должно превышать 10. Если в ответе планируется получить однозначное соответствие между списками, то число элементов в первом и втором списках должно совпадать. При неоднозначном соответствии число элементов второго списка подбирается так, чтобы для каждого элемента из первого списка нашелся элемент из второго. Но в этом случае во второй список может быть включен элемент, для которого не найдется соответствующий из первого, или, наоборот, элементу второго списка соответствуют два элемента первого.  Пример

Инструкция. Установите соответствие между списками 1) – 4)  и А. – В., укажите, на основе каких свойств из списка А – В выполняли действия 1) – 4). 

1)   2⁸ : 2⁶;       А. a^т · a^k

2)   3³ · 2³;       Б. a^т : a^k      3) 4² · 4³;       В. (ab)ⁿ      4) 12⁶ : 12⁴.

Ответ: 1 – ___, 2 – ____, 3 – ____, 4 – ____. 

Эталон ответа: 1 – Б, 2 – В; 3 – А; 4 – Б. 

Задания на установление последовательности  можно рассматривать как вариант задания на восстановление соответствия. Эта форма тестовых заданий обладает следующими преимуществами: краткостью, простотой проверки и подходит для любого предмета, там, где присутствуют алгоритмическая деятельность или временные события. 

Инструкция. Расположите в правильной последовательности (в столбце ответов проставьте соответствующие буквы).

Пример 

Инструкция. В столбце ответов проставьте соответствующие буквы. 

Задание. Из перечня действий а) – е)  составьте один из возможных планов доказательства теоремы «Если а>b и с>d, то а+с>b+d»: 

Эталон ответа: в – а – б – д – е. 

Задания открытого типа бывают двух видов: свободного изложения или свободного конструирования, предполагают свободные ответы испытуемых по сути задания; дополнения (задачи с ограничением на ответы), в них испытуемые должны также самостоятельно давать ответы на вопросы, однако их возможности ограничены требованиями к записям ответа. Ограничения обеспечивают объективность оценивания результата выполнения задания.

Инструкция для заданий на дополнение: вместо многоточия впишите только одно слово (символ, знак и т.д.). Инструкция для заданий свободного изложения: выполните задание, обоснуйте ответ; закончите предложение (фразу); впишите вместо многоточия правильный ответ в виде словосочетания, фразы, предложения или нескольких предложений.

Пример задания на дополнение

Инструкция. Вместо многоточия впишите слово.

Задание.  Отрезок, соединяющий вершину треугольника с серединой противолежащей стороны,  – это ________________.

Эталон ответа: медиана треугольника.

Пример задания свободного изложения

Инструкция. Впишите требуемые характеристики в таблицу.  Задание. Сравните функции у = 5x² + 2 и у = - 5x² - 2 по предложенным свойствам.

7.2. Структура тестового задания. Принципы отбора ответов

и содержания тестовых заданий

При конструировании тестовых заданий важно соблюдать некоторые общие правила, которые можно сформулировать в виде следующих положений: 

9   каждое задание имеет свой порядковый номер,  который может изменяться после объективной оценки трудности задания и выбора стратегии предъявления заданий теста; 

9   каждое задание имеет эталон правильного ответа; 

9   в тестовом задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы; 

9   тестовые задания одной формы сопровождаются стандартной инструкцией, предваряющей формулировку задания; 

9   для каждого тестового задания разрабатывается правило выставления оценки (дихотомическая, политомическая); 

9   тестовое задание должно быть достаточно кратким по форме предъявления и по времени выполнения. 

На основе выделенных положений можно кратко сформулировать минимальные требования к структуре тестового задания: 

1.                Инструкция. 

2.                Текст задания в соответствии с формой предъявления и формой записи ответа. 

3.                Правильный ответ (эталон ответа).

4.                Оценочная схема.

Как уже отмечалось выше, неправильные ответы, но похожие на правильные, то есть правдоподобные ответы называют дистракторами. В идеале каждый дистрактор должен в равной мере использоваться всеми испытуемыми,  выбирающими неправильный ответ. Дистрактор, который никто не выбирает, называют неработающим и для улучшения задания его убирают.

Выделяют следующие принципы подбора ответов: 

¾    Противоречивость. При создании задания в одном из ответов используется отрицательная частица «не», а также отрицающие предлоги и слова. При использовании принципа противоречия ответы подбираются так, чтобы второй ответ отрицал первый. 

Логическая схема «А и не А».  Пример. Уравнение  х² + 9 = 0  решение  1) имеет; 2) не имеет.

¾    Противоположность. Противоположные ответы допускают возможность других переходных состояний. При противоречии используется отрицание, а при противоположности один содержательный ответ заменяется другим, антонимичным по смыслу.  Пример. График нечетной функции симметричен относительно

1)   оси абсцисс;

2)   оси ординат;

3)   начала координат.

¾ Однородность. Подбираются такие ответы, которые относятся к одному роду, виду или отображают основные стороны, грани явления, ситуации, описанной в задании.  

Пример. График функции у = (х – 2)² получен из графика у = х² с помощью параллельного переноса: 1) вдоль оси ординат на 2 единицы вверх;

2)               вдоль оси ординат на 2 единицы вниз;

3)               вдоль оси абсцисс на 2 единицы вправо; 4) вдоль оси абсцисс на 2 единицы влево. ¾ Кумуляция. Этот принцип означает, что содержание второго ответа включает в себя (кумулирует) содержание первого, содержание третьего – второго и т.д. Здесь нередко используется союз «и», а также запятые. 

Пример. Отношение во множестве А называют отношением эквивалентности, если оно:

1)   рефлексивно; 

2)   рефлексивно и симметрично; 

3)   рефлексивно, симметрично и транзитивно. 

¾    Сочетание. Используется сочетание слов (знаков) по два или три в каждом ответе. 

Пример. Механическая работа, совершенная телом при поступательном движении, зависит: 1) от силы и времени;  2) силы и перемещения;  3) силы и пройденного пути. 

¾    Градуирование. Применяют для заданий с тремя и большим числом ответов (возрастает, не изменяется, снижается или высокая, средняя, низкая). 

Пример. При увеличении значения аргумента соответствующее значение функции у = 2х 1) увеличивается;  2) не изменяется;  3) уменьшается. 

¾    Удвоенное противопоставление. Этот принцип применяется преимущественно в заданиях с четырьмя ответами.   Пример. Отношение строгого порядка

1)   рефлексивно, симметрично; 

2)   антирефлексивно, симметрично; 

3)   рефлексивно, антисимметрично;  4) антирефлексивно, антисимметрично. 

Определив цели составления тестов, уточнив подходы и выбрав

уровень использования, разработ-

В чём отличие принципов чик определяет необходимые эта-

подбора ответов и отбора пы создания тестового инструмен-

содержания тестовых 

тария. После этого составляется

^{заданий?} модель объекта педагогического тестирования. Эта модель может

быть представлена в виде технологической матрицы. Такая матрица носит разные названия: содержательная решётка, сетка, организационно-деятельностная матрица, тестовая решётка, таблица содержания и др. Технологическая матрица задаёт содержание, которое будет отобрано для проверки с соблюдением важности того или иного элемента содержания. Она может содержать: уровни достижений, которые будут проверены, их соотношение; соответствие стандарту и некоторые другие компоненты. 

В самом простом случае технологическая матрица может описывать только предметы, предметные области или отдельные темы разного уровня обобщения, которые должны войти в тест, и определять соотношение заданий в тесте. Выделяют следующие принципы отбора содержания тестовых заданий: 

™   Значимость. Этот принцип указывает на необходимость включения в тест только тех элементов знания, которые можно отнести к наиболее важным, ключевым, без которых знания становятся неполными, с многочисленными пробелами. Такие элементы знания ввиду их важности называют структурными элементами. Следовательно, в тест нужно включать только те материалы, которые выполняют роль таких элементов в индивидуальном знании. 

™   Научная достоверность. В тест включается только то содержание учебной дисциплины, которое является объективно истинным и поддается некоторой рациональной аргументации. Соответственно, все спорные точки зрения не рекомендуется включать в тестовые задания. 

™   Соответствие содержания теста уровню современного состояния науки. Этот принцип вытекает из естественной необходимости готовить специалистов и проверять их знания на современном материале. Трудность в реализации этого принципа заключается в опосредованности связи содержания теста с уровнем развития науки и с содержанием учебной дисциплины. 

™   Репрезентативность. В тест не только включаются значимые элементы содержания,  но обращается внимание также на полноту и их достаточность для контроля. Репрезентативность не означает обязательного включения в тест всех элементов содержания. Ведь многие из них явно связаны между собой в общей структуре знаний, включены один в другой полностью или частично. Этому принципу соответствуют основные задания, которые лучше называть структурными. 

™   Возрастающая трудность учебного материала. Этот принцип означает, что каждый учебный элемент в процессе контроля обладает некоторой усредненной мерой трудности. Поэтому при конструировании заданий следует учитывать меру трудности учебного материала.

™   Вариативность содержания. Содержание теста не может оставаться неизменным и независимым от развития науки, научнотехнического прогресса, от нового содержания учебной дисциплины и от новых учебников. По мере изменения содержания учебной дисциплины должно варьироваться и содержание теста. В содержании теста, предназначенного для разных групп испытуемых, должны входить инвариантная и вариативная части. 

™   Системность содержания. Соблюдение этого принципа означает подбор такого содержания тестовых заданий, который отвечал бы требованиям системности знаний. Помимо подбора заданий с системным содержанием важно иметь задания, связанные между собой и общей структурой проверяемых знаний.

™   Комплексность и сбалансированность содержания теста.

™   Взаимосвязь содержания и формы. Этот диалектический принцип означает, что настоящий педагогический тест можно охарактеризовать как результат взаимовлияния содержания заданий с наиболее подходящей формой. При этом тестовую форму надо рассматривать вместе с содержанием как активную сторону их взаимодействия. 

Уже на стадии замысла содержание задания начинает обретать свою форму. Необходимо помнить, что не всякое содержание поддается представлению в форме тестового задания. Доказательства, обширные вычисления, многословные описания трудно выражаются, а то и совсем не выражаются в тестовой форме. 

7.3. ГИА и ЕГЭ: спецификация, кодификатор, демоверсия – 2012

Спецификации контрольных измерительных материалов для проведения в 2012 г. едиВ чём особенность спецификации ного государственного экконтрольных измерительных ма- замена по математике сотериалов для проведения  держит следующие компов 2012  г. ЕГЭ? ^ненты:

1.        Назначение контрольных измерительных материалов. 

2.        Документы, определяющие содержание контрольных  измерительных материалов. 

3.        Подходы к отбору содержания, разработке структуры КИМ ЕГЭ.

4.        Структура КИМ ЕГЭ.

5.        Распределение заданий КИМ ЕГЭ по содержанию, проверяемым умениям и видам деятельности.

6.        Распределение заданий работы по уровню сложности.

7.        Продолжительность ЕГЭ по математике.

8.        Дополнительные материалы и оборудование. 

9.        Система оценивания отдельных заданий и экзаменационной работы в целом.

10.   План экзаменационной работы 2012 г.

11.   Изменения в структуре и содержании экзаменационной работы 2012 г. по сравнению с 2011 г. 

Кодификатор элементов содержа-

Какие кодификаторы рения по всем разделам включает в 

гулируют подготовку и  себя элементы содержания за курс проведение ЕГЭ? средней (полной) школы (базовый уровень) и необходимые элементы

содержания за курс основной школы. Каждому разделу («Алгебра», «Уравнения и неравенства», «Функции», «Начала математического анализа», «Геометрия», «Элементы комбинаторики теории вероятностей и математической статистики»), соответствующей теме и элементам содержания присваиваются определённые коды. 

Кодификатор требований по всем разделам включает в себя требования к уровню подготовки выпускников средней (полной) школы (базовый уровень). В  соответствии со стандартом среднего (полного) образования и требованиями к уровню подготовки учащихся в кодификатор требований включаются также знания, необходимые для выработки соответствующих умений. 

Демонстрационный вариант ЕГЭ по ма^{Какие функции вы-} тематике 2012 г. разработан по заданию полняет демоверсия?    Федеральной службы по надзору в сфере образования и науки Российской Фе-

дерации. Демонстрационный вариант предназначен для того, чтобы дать представление о структуре будущих контрольных измерительных материалов, количестве заданий, их форме, уровне сложности. 

Задания демонстрационного варианта не отражают всех вопросов содержания, которые могут быть включены в контрольные измерительные материалы в 2012 г. Структура работы приведена в спецификации, а полный перечень вопросов – в кодификаторах требований и элементов содержания по математике для составления контрольных измерительных материалов ЕГЭ 2012 г.

Демонстрационный вариант содержит инструкцию по выполнению работы, в которой даётся краткое описание структуры работы, советы и рекомендации по процедуре её выполнения, пожелание успеха. Затем следует сама работа, состоящая из двух частей. Далее приводится система оценивания контрольных измерительных материалов, включая ответы к каждой части работы, решения и критерии оценивания второй её части.

Вопросы и задания

1.  Чем отличается кодификатор элементов содержания от кодификатора требований? Проанализируйте их по одному содержательному разделу для ГИА и ЕГЭ.

2.  Как оценивается правильное решение каждого из заданий экзаменационной работы для 11класса? Что такое первичный балл за выполнение всей работы, каково его максимальное значение?

3.  Какое количество заданий экзаменационной работы подтверждает освоение выпускником основных общеобразовательных программ общего (полного) среднего образования?

Список рекомендуемой литературы

1.                Чибисова, М. Ю. Единый государственный экзамен: психологическая подготовка / М. Ю. Чибисова. – М., 2004.

2.                Теоретические основы обучения математике в средней школе : учеб. пособие / Т. А. Иванова [и др.] ; под ред. проф. Т. А. Ивановой. – Н. Новгород : НГПУ, 2003. – С. 304 – 310. 

Вопросы для обсуждения

1.                Проблемы качества образования. Критерии и показатели качества образования.

2.                Диагностическая деятельность учителя (сущность, структура, содержание).

3.                Психолого-педагогические критерии эффективности обучения и принципы построения контрольно-диагностических заданий.

4.                Методика составления контрольных работ по математике в соответствии с новыми критериями качества образования. Задания

1.                Проанализируйте систему критериев и ориентиров, обеспечивающих новое качество математического образования. Приведите примеры заданий по математике, отвечающие комплексу этих критериев.

2.                Выявите особенности диагностической деятельности учителя математики общеобразовательной и профильной школ. Разработайте с использованием компьютерной техники комплект отчётной документации для проведения мониторинга по одной теме школьного курса математики.

3.                Сконструируйте текст контрольной работы по математике в соответствии с новыми критериями качества образования (тема и класс по выбору студента).

***

Домашнее задание

1.   Оформите отчет по составлению контрольной работы по математике для 5 – 9 классов в соответствии с новыми критериями.

2.   Подготовьтесь к лабораторной работе № 2.                        

Творческое задание. Сконструируйте контрольно-диагностическое задание по одной из тем курса математики основной школы. Опишите подходы к интерпретации результатов его проведения.  

Вопросы для обсуждения

1.                Традиционные и новые подходы к оцениванию учебных достижений учащихся. 

2.                Функции оценки. Связь оценки и самооценки при обучении математике.

3.                Алгоритм оценки результатов выполнения многоуровневой контрольной работы.

Задания

1.                Перечислите проблемы оценивания, существующие при обучении математике, и наметьте пути их решения. 

2.                Раскройте различные подходы к определению критериев оценивания. Проанализируйте нормы оценок по математике и сравните их с требованиями к результатам освоения основной образовательной программы основного общего образования.

3.                Сравните традиционные и новые средства оценки результатов обучения. Выделите преимущества современных средств оценки результатов обучения математике.

4.                Спроектируйте контрольно-оценочную деятельность учителя и учащихся на уроке математики по одной теме школьного курса. Используйте при этом мультимедийные средства обучения. ***

Домашнее задание

1.   Оформите отчет по составлению критериев оценивания работы по математике одного вида (контрольная работа, зачёт, тест, математический диктант и др.). 

2.   Подготовьтесь к лабораторной работе № 3.

Творческое задание. Сконструируйте комплект листов обратной связи для организации формирующего оценивания по одной из тем школьного курса математики. Опишите модель урока математики с использованием разработанных материалов.

1.  Классификация тестов. 

2.  Тестовое задание и его формы.

3.  Требования к тестовым заданиям. 

4.  Преимущества и недостатки компьютерного тестирования.

5.  Общая методика составления тестового задания по математике.

Алгоритм проведения тестового контроля на уроках математики.

Задания

1.                Выявите особенности оценивания выполнения учащимися тестовых заданий по математике. 

2.                Приведите примеры различных форм тестовых заданий по математике. Проверьте задания готового теста по математике на соответствие требованиям, предъявляемым к тестовым заданиям.

3.                Сконструируйте тестовые задания различной формы по математике по одной теме школьного курса математики. 

4.                Смоделируйте проведение тестового контроля на уроке математики в 5-7 классах.

*** Домашнее задание

1.   Оформите отчёт по составлению теста по математике и проведению тестового контроля на уроке математики в 9 классе.

2.   Подготовьтесь к лабораторной работе № 4.

Творческое задание. Разработайте структуру и содержание дидактического теста по одной из тем школьного курса математики. Подготовьте вопросы для обсуждения с использованием презентации материалов.  

Вопросы для обсуждения:

1.   ГИА и ЕГЭ как средство повышения качества общего образования. Задачи ГИА в основной школе и ЕГЭ в средней школе.

2.   Структура КИМ по математике для 9 класса и для 11 класса.

3.   Демоверсия ГИА и ЕГЭ по математике.

Задания:

1.   Сравните ГИА и ЕГЭ по математике с другими формами итоговой аттестации, выделить их преимущества и недостатки. 

2.   Проанализируйте несколько вариантов ГИА и ЕГЭ по математике.

Определите различные способы решения одного и того же задания и прокомментируйте их с точки зрения универсальности, рациональности, индивидуального предпочтения учащихся.

3.   Смоделируйте ситуации проведения инструктажа перед ГИА и ЕГЭ.

4.   Спроектируйте занятие по подготовке учащихся 9 класса к ГИА и апробируйте его на занятии группы.

***** Домашнее задание:

1)               Оформите отчёт по решению одного варианта ГИА (2011, 2012 гг.) по математике для 9 класса с краткими рекомендациями по их проверке.

2)               Оформите отчёт по решению одного варианта ЕГЭ (2011, 2012 гг.) по математике для 11 класса с кратким анализом обобщённых способов выполнения типовых тестовых заданий.  3) Подготовьтесь к лабораторной работе № 5.

Вопросы для обсуждения:

1.  Сущность понятия «портфолио». 

2.  Типы портфолио: портфолио документов, портфолио работ, портфолио отзывов, тематический портфолио. 

3.  Опыт применения различных моделей портфолио учащихся при обучении математике.

Задания:

1.                Выделите преимущества и ограничения каждого из типов портфолио при обучении математике.

2.                Сравните структуру портфолио разных типов и выделите специфические особенности каждого из них.

3.                Спроектируйте тематический портфолио учащегося (тема и класс по выбору студента).

***** Домашнее задание:

1)               Оформите отчёт по применению одной из моделей портфолио учащихся при обучении математике, составить рекомендации по его внедрению. 

2)               Подготовьтесь к зачёту. Творческое задание:

1.                Разработайте структуру и содержание тематического портфолио (тема и класс по выбору студента).

2.                Представьте оригинал портфолио к защите с применением мультимедийных средств.

Материалы к лабораторным занятиям

Система критериев и ориентиров для обеспечения нового качества образования

Разработана авторами:

С.В. Кульневич, В.И.Гончарова, Т.П. Лакоценина^[17]

Наиболее обобщенный вариант новых ориентиров представлен в критерии открытости. Критерии открытого (гуманистического) образования: основные особенности – ориентация на содержательную сторону знаний, на представленность в изучаемом материале оснований для развития смыслопоисковой, творческой деятельности.

Открытые знания – результаты научного познания, представляемые как неоднозначные, неабсолютные, нелинейные, относительные,  требующие дополнения личным пониманием итоги определенного этапа развития науки. 

Как критерий, обеспечивающий введение дополнений в содержание знаний, открытость может пониматься следующим образом: открытость – это способ представления в учебном материале открытых для дополнения, неустоявшихся, неравновесных, парадоксальных (феноменальных) фактов, не имеющих однозначной трактовки. Способ их познания – критическая рефлексия, позволяющая производить обращение к смыслотворчеству субъектов обучения вместо механического заучивания.

Следствием такого представления учебного материала становится введение требования – "методологического императива" – постоянного пояснения субъектом обучения своих смысловых значений рассматриваемого явления.

ƒ    Концептуальность (концептуализация) содержания учебного материала – способ выделения ведущей (основополагающей) идеи, замысла, концепта. 

ƒ    Методологичность – представление в учебном материале оснований для проникновения в сущностный смысл явления, критической оценки его источника, нахождения скрытых противоречийколлизий, их реальных движущих сил и механизмов, использование рефлексии, как размышления, полного сомнений, противоречий и переживаний.

ƒ    Субъектность, как выражение смыслотворческой активности, самоорганизуется по интегративному критерию порождения смыслов и ценностей своей деятельности. 

ƒ    Проблемность определяет наличие в учебном материале оснований для возникновения проблемных представлений об изучаемом явлении. 

ƒ    Дополнительность (включение "обыденных" пониманий, экспертных оснований, приписываемых значений) реализует одно из гуманистических требований, предъявляемых к человеку познающему, выбирающему. 

ƒ    Диалогичность содержания образования – определяет необходимость преобразования учебного материала в основу для диалога. 

Контрольная работа для 5-го класса, составленная в соответствии 

с системой критериев и ориентиров нового качества образования^[18]

                                         Текст задания                                   Пояснения для учителя

     1. Представьте числа 8 и 641 в виде       ƒ Методологичность

      суммы:                                                        выражена через нахождение скрытых про-

      а) двух разных натуральных чисел;        тиворечий-коллизий, использование реф-

б) двух одинаковых натуральных чи-   лексии, как размышления, полного сомнесел.     ний, противоречий и переживаний. 

*            Сколькими способами это можно ƒ Субъектность

      сделать?                                                      выражена через преобразование содержа-

*            Какие выводы ты можешь сделать            ния учебного материала, для придания им после выполнения этого задания?        качественных, т.е. личностных смыслов.

      2. Дано выражение:                                  ƒ Концептуальность

152 + (532 – 16 · 5) : 4.     выражена через проникновение в существо Какое действие выполняется          предлагаемого задания, его замыслов, четретьим?         рез побуждение мыслить, т.е. порождать * Почему?      собственные смыслы знаний.

ƒ Методологичность  

выражена через критическую оценку источника ответа, их реальных движущих сил и механизмов, определение реального смысла выполняемых операций, перестройку имеющихся знаний.

Продолжение

                                         Текст задания                                   Пояснения для учителя

3. Запиши выражение «частное сум-     ƒ Проблемность мы чисел а и b и произведения чисел          выражена через представление факта как 7 и c». Выбери среди предложенных         феномена - необычного, парадоксального, верный ответ:           которое дано учащемуся не только для поа)  a + b : 7 · c;         иска ответа, но и смыслового значения,

      б)  (a + b) : (7 · c);                                      через углубленное познание его внутрен-

      в) (a + b) : 7 · c;                                                        них источников. Решение проблемы связа-

      г) a + (b : 7) · c.                                           но с переводом информации из одного

* Какие проблемы у тебя возникли       способа кодирования в другой.  при выборе ответа к заданию?

4. Найди периметр участка, состав-      ƒ Дополнительность ленного из прямоугольников.         выражена через необходимость посто-

                                               4                         янного пояснения учащимся собственных

                                       2                                  значений феноменов учебного материала, 

         4                                сопоставление различных ракурсов виде             ния объекта в процессе решения. 

                          12

* Дополни данный рисунок своим решением и пояснением.    

5. Ваша семья путешествует на авто- ƒ Диалогичность мобиле из города М в город N, рас-        выражена через необходимость преобразостояние между которыми 192 км. Вы вания учебного материала в основу для проехали 61 км.      диалога, нацеленность на множество во-

1)    Верно ли, что вам осталось про-       просов, высказываемых участниками

      ехать 131 км?                                             учебного процесса, направленность на во-

2)    Сколько километров осталось до просы как предмет общения, а не на лич-

города N, если же пройдено 109 км? ность одного из участников.  3) Какими вопросами ты обменяешь-

ся с одноклассниками, если решение этой задачи выглядит так:  

       192 : 2 – 61 = 35. Ответ: 35 км.

*                    Понял ли ты смысл каждого задания?

*                    Какое задание тебе понравилось?  * Хотел ли ты что-нибудь изменить или добавить к этим заданиям?

ƒ Открытость

выражена через способ представления в учебном материале открытых для дополнения заданий, не имеющих однозначной трактовки. Способ их решения - критическая рефлексия - позволяющая производить обращение к смыслотворчеству субъектов обучения вместо механического заучивания. 

Демонстрационный вариант ГИА 2012 года^[19]

Инструкция по выполнению работы

Работа состоит из двух частей. В первой части 18 заданий, во  второй – 5 заданий. На выполнение всей работы отводится 4 часа (240 минут). Все необходимые вычисления преобразования и т.д. выполняйте в черновике. Обращаем Ваше внимание, что записи в черновике не будут учитываться при оценке работы. Если задание содержит рисунок, то на нём можно проводить дополнительные построения.  

Часть 1 включает 14 заданий с кратким ответом, 3 задания с выбором одного верного ответа из четырёх предложенных (задания 4, 5, 10) и одно задание на соотнесение (задание 12).  

При выполнении заданий с выбором ответа обведите кружком номер выбранного ответа в экзаменационной работе. Если Вы обвели не тот номер, то зачеркните обведенный номер крестиком и затем обведите номер правильного ответа. 

Если ответы к заданию не приводятся, полученный ответ записывается в экзаменационной работе в отведённом для этого месте. В случае записи неверного ответа зачеркните его и запишите рядом новый.

В задании 12 требуется соотнести некоторые объекты (графики, обозначенные буквами А, Б, В, и формулы, обозначенные цифрами 1, 2, 3, 4). Впишите в приведенную в ответе таблицу под каждой буквой соответствующую цифру.

Ответом к заданию 15 является последовательность номеров верных утверждений, записанных без пробелов и использования других символов, например, 1234. 

Ответы к заданиям 17 и 18 нужно записать на отдельном листе.

Решения заданий второй части и ответы к ним записываются на отдельном листе. Текст задания можно не переписывать, необходимо лишь указать его номер.

ВОПРОСЫ К ЗАЧЁТУ

1.       Понятие качества образования. Оценка как элемент управления качеством.

2.       Традиционные и новые средства оценки результатов обучения (достоинства и недостатки).

3.       Оценка качества российского образования отечественными и зарубежными экспертами.

4.       История возникновения тестирования в России и за рубежом.

5.       Современные центры тестирования.

6.       Функции контроля в современном учебном процессе.

7.       Традиционные формы контроля (достоинства и недостатки).

8.       Место психологических и педагогических измерений в современном образовании.

9.       Цели и задачи педагогического и психологического тестирования.

10.   Сходства и различия педагогических и психологических тестов.

11.   Таксономия образовательных целей (по Блуму).

12.   Основные подходы к структуре учебных достижений.

13.   Определения понятий: тест, предтестовое задание, валидность, надёжность и трудность теста.

14.   Виды тестов.

15.   Основные положения классической теории тестов.

16.   Классификация тестов по разным основаниям.

17.   Возможности компьютерного тестирования.

18.   Критериально-ориентированные и нормативно-ориентированные         педагогические тесты.

19.   Типы тестовых заданий.

20.   Структура тестового задания.

21.   Принципы отбора содержания тестового задания.

22.   Мониторинг как средство оценки результатов обучения.

23.   Основные свойства мониторинга качества образования.

24.   Виды мониторинга.

25.   Методы педагогического мониторинга.

26.   Виды оценочных шкал.

27.   «Портфолио» как средство оценки результатов обучения (достоинства и недостатки).

28.   ГИА и ЕГЭ. Задачи, преимущества и недостатки.

29.   Организация и проведение ГИА и ЕГЭ.

30.   Порядок создания контрольных измерительных материалов.

31.   Структура заданий ГИА и ЕГЭ.

32.   Порядок проверки тестовых заданий ГИА и ЕГЭ.

КОНТРОЛЬНЫЕ ИЗМЕРИТЕЛЬНЫЕ МАТЕРИАЛЫ

(Для оценки качества освоения программы учебного курса

«Современные средства оценивания результатов обучения»)

Обведите кружком букву правильного ответа:

1.                                                                                Работы А. Бине и Т. Симона были направлены на:

а) выявление элементарных психологических процессов;

б) разработку статистических методов исследования;

в) простые измерения высших психических процессов;

г) разработку первых педагогических тестов.

2.                                                                                Первая таксономия целей была создана:

а) И.Я. Лернером;

б) Б. Блумом;

в) А.Н. Майоровым;

г) О.Е. Лебедевым.

3.                                                                                Четкое определение педагогического теста дал:

а) В.С. Аванесов;

б) А.Н. Майоров;

в) П.П. Блонский;

г) М.С. Бернштейн.

4.                                                                                Для критериально-ориентированных тестов характерна следующая     логическая цепочка: 

а) задания – ответы – выводы о развитии того или иного качества, умения, навыка и т.д.

б) задания – ответы – выставление оценки;

в) задания – ответы – рейтинг испытуемого;

г) задания – ответы – вывод о необходимости ликвидации пробелов в тех или иных ЗУНах.

5.                                                                                По целям использования выделяют тесты:

а) определяющие, формирующие, диагностические, суммирующие;

б) формирующие, диагностические, суммирующие, контролирующие;

в) определяющие, формирующие, корректирующие, суммирующие;

г) определяющие, формирующие, диагностические, корректирующие, суммирующие.

6.                                                                                Признак, не характеризующий мониторинг:

а) констатирующий;

б) диагностический;

в) прогнозирующий;

г) сравнительный;

д) регулирующий.

Обведите кружком буквы нескольких  правильных  ответов: 

7.                                                                                Стандарт как инструмент организации образовательного процесса включает компоненты:

а) цели деятельности;

б) процесс деятельности;

в) оценку деятельности;

г) результаты деятельности;

д) коррекцию деятельности. 

8.                                                                                Установите соответствие:

9.                                                                                Перечислите группы умений при освоении видов деятельности:

____________________________________________________________

____________________________________________________________ Дайте краткий ответ на поставленный вопрос:

10.                                                                           В чём, на Ваш взгляд, состоит недостаток данного примера задания в тестовой форме?

Установите правильную последовательность:

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1.                Аванесов, В. С. Композиция тестовых заданий / В.С. Аванесов. – М., 2002. – 239 c.

2.                Он же. Проблема психологических тестов / В.С. Аванесов // Вопросы психологии. – 1978. – №  5. –  С. 97 – 107.

3.                Он же. Форма тестовых заданий : учеб. пособие для преподавателей / В.С. Аванесов. – М. : МИСиС, 1991. –  36 с.

4.                Анастази, А. Психологическое тестирование: Т. I; пер. с англ. / под ред. К.М. Гуревича, В. И. Лубовского. – М. : Педагогика, 1982. – 320 с.

5.                Он же. Психологическое тестирование: Т. II; пер. с англ. / под ред. К.М. Гуревича. – М. : Педагогика, 1982. – 336 с.

6.                Гузеев, В. В. Планирование результатов образования и образовательная технология / В.В. Гузеев. – М. : Народное образование, 2001. – 240 с.

7.                Единый государственный экзамен. Сборник нормативных документов. – М. : Интеллект – центр, 2003. – 416 с.

8.                Звонников, В. И. Современные средства оценивания результатов обучения / В. И. Звонников, М. Б. Челышкова. – М. : Академия, 2007. – 224 с. – ISBN 978-5-7695-3568-0.

9.                Золотарёва, А. В. Мониторинг  результатов деятельности учреждений дополнительного образования детей / А. В. Золотарёва. – Ярославль : Изд-во ЯГПУ им. К.Д. Ушинского, 2006. – 200 с.

10.           Калужская, М. В. Рейтинговая система как интегративная модель оценки параметров образования / М. В. Калужская, О. С. Уколова, И. Г. Каменских // Педагогический вестник. – 2004. – № 23 – 24. – С. 36 –

40.

11.           Ким, В. С. Компьютерное тестирование, как элемент управления учебным процессом / В. С. Ким // Вестник МГОУ.–  2007.  – Том 2. – С. 94 – 98. – (Сер. "Педагогика").

12.           Кларин, М. В. Инновационные модели обучения в зарубежных педагогических поисках / М. В. Кларин. – М. : Арена, 1996. – 222 с. – ISBN 5874-74-011-2.98.  

13.           Ковалева, Г. С. Подходы к разработке контрольно-измерительных материалов для ЕГЭ / Г. С. Ковалева // Школьные технологии. – 2003. –  № 4. – С. 142 – 149.

14.           Ковалева, Г. С. Результаты международного исследования PISA2006 / Г. С. Ковалева // Школьные технологии. – 2008. – № 3. – С. 153 – 160. 15. Ксензова, Г Ю. Перспективные школьные технологии / Г. Ю. Ксензова. – М. : Педагогическое общество России, 2000. – ISBN 5-93134-051-3.

16.           Майоров, А. Н. Теория и практика создания тестов для системы образования: Как выбирать, создавать, использовать тесты для целей образования [Текст] / А. Н. Майоров. – М. : Интеллект-центр, 2000. – 296 с. – ISBN 5-89790-115-5.

17.           Он же. Тесты школьных достижений: конструирование, проведение, использование / А. Н Майоров. – СПб., 1996. – 302 с. –  ISBN 8-88857-021-4.

18.           Науменко, Ю. В. Рейтинг учебных достижений как элемент здоровьеформирующего образования / Ю. В. Науменко // Стандарты и мониторинг в образовании. – 2006. – № 2 – С. 23 – 30.

19.           Новикова, Т. Г. О технологии портфолио в российской школе / Т. Г. Новикова, А. С. Прутченков, М. А. Пинская // Педагогическая диагностика. – 2006. – №3. – С. 93 – 110.

20.           Она же. Рекомендации по построению различных моделей и использованию портфолио учащихся основной и полной средней школы / Т. Г. Новикова, А. С. Прутченков, М. А. Пинская // Профильная школа. – 2005. – № 1. –  С. 4 – 12.

21.           Пейп, С.Дж. Учебные портфолио – новая форма контроля и оценки достижений учащихся / С.Дж. Пейп, М. Чошанов // Директор школы. – 1998. – № 3. – С. 76.

22.           Пинский, А. А. Рекомендации по построению различных моделей портфолио учащихся основной школы / А. А. Пинский // Практика административной работы в школе. – 2003. – № 7. – С. 3 – 7.

23.           Равен, Д. Педагогическое тестирование : Проблемы, заблуждения, перспективы / Д. Равен.  – М. : Когито-Центр, 2001. – ISBN 5-89353-044-6. 24. Управление качеством образования : практикоориентированная моногр. и метод. пособие / под ред. М. М. Поташника. – М. : Педагогическое общество России, 2000. – 441 с. – ISBN 5-93134-079-3.

25.           Федеральный государственный образовательный стандарт начального общего образования. – М. : Просвещение, 2010. – 31 с. (Стандарты второго поколения).  – ISBN 978-5-09-022995-1.

26.           Федеральный государственный образовательный стандарт основного общего образования. – М. : Просвещение, 2011. – 48 с. (Стандарты второго поколения). – ISBN 978-5-09-023273-9.

27.           Фишман, И. С. Формирующая оценка образовательных результатов учащихся: Методическое пособие / И. С. Фишман, Г. Б. Голуб. – Самара : Учебная литература, 2007.  – 244 с. – ISBN 978-5-9507-0542-7. 28. Челышкова, М. Б. Основные подходы к оценке качества подготовки обучаемых / М. Б. Челышкова, В. А. Хлебников // Проблемы качества, его нормирования и стандартов в образовании : сб. науч. ст. – М., 1999.

29.           Челышкова, М. Б.  Разработка педагогических тестов на основе современных математических моделей / М. Б. Челышкова. – М., 1995. – ISBN5-7563-8151-1.  

30.           Она же. Теория и практика конструирования педагогических тестов / М. Б. Челышкова. –  М., 2002. – 432 с. – ISBN 5-94010-143-7.

31.           Чошанов, М. А. Школьная оценка : старые проблемы и новые перспективы / М. А. Чошанов // Педагогика. – 2000. – № 10. – С. 95 – 103. 

ОГЛАВЛЕНИЕ

Предисловие ……………………………………………………………............3 Глава 1. ПОНЯТИЕ «КАЧЕСТВО ОБРАЗОВАНИЯ»». ОЦЕНКА 

КАК ЭЛЕМЕНТ УПРАВЛЕНИЯ КАЧЕСТВОМ…………….........................6

1.1.   Понятие «качество образования»………………………….............6

1.2.   Оценка как элемент управления качеством………………...........11

1.3.   Общероссийская система оценки качества образования 

(OCOКО)….………..........................................................................13

1.4.   Мониторинг как основной принцип современной оценки         результатов обучения…………………………..………….............16

Вопросы и задания............................................................................................20

Список рекомендуемой литературы................................................................20

Глава 2. ТРАДИЦИОННЫЕ И НОВЫЕ СРЕДСТВА

ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ..............................................22

2.1.   Традиционные контрольно-оценочные средства .........................22

2.2.   Контроль и оценка в современном образовании...........................27

2.3.   Контрольно-оценочная система в школе………………….............33

2.4.   Эвалюация в образовании …………………………………..........35

Вопросы и задания............................................................................................37

Список рекомендуемой литературы................................................................38

Глава 3. ИСТОРИЯ РАЗВИТИЯ ТЕСТИРОВАНИЯ 

В РОССИИ И ЗА РУБЕЖОМ..........................................................................39

3.1.          Исторические предпосылки современного тестирования         в отечественном образовании……………………………...............39

3.2.          Развитие тестирования в зарубежных странах…………….........44 3.3. Направления и проблематика современных российских         и зарубежных исследований по вопросам измерений         и тестирования в образовании…………………………….............47

1.4. Тестирование в психологии и образовании……………..............49

Вопросы и задания............................................................................................51

Список рекомендуемой литературы...............................................................51

Глава 4. ПСИХОЛОГО-ПЕДАГОГИЧЕСКИЕ АСПЕКТЫ 

ТЕСТИРОВАНИЯ.……....................................................................................52

4.1.   Роль психологической подготовки к тестированию. 

       Принципы тестирования и деятельность тестолога…………..…53

4.2.   Педагогические измерения в образовании....................................56

4.3.   Таксономия образовательных целей и результаты образования. 

        Подходы к структурированию учебных достижений…………..58

1.4. Педагогическое и психологическое тестирование………….….60

Вопросы и задания............................................................................................63

Список рекомендуемой литературы ...............................................................63

Глава 5. ПЕДАГОГИЧЕСКИЕ ТЕСТЫ. ВИДЫ ТЕСТОВ И ФОРМЫ 

ТЕСТОВЫХ ЗАДАНИЙ………..…………….……………………………....64

5.1. История становления понятия «педагогический тест»……........64 5.2. Понятие «педагогический тест». Классификация         педагогических тестов……………………………….....................66

5.3.  Методика разработки педагогических тестов…………………...68

5.4.  Формы тестовых заданий……………………………………........70

Вопросы и задания............................................................................................73 Список рекомендуемой литературы................................................................73

Глава 6. КОНТРОЛЬНЫЕ ИЗМЕРИТЕЛЬНЫЕ МАТЕРИАЛЫ 

И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ…….................74

6.1. Контрольные измерительные материалы……………………......74 6.2. Технология разработки контрольных измерительных 

       материалов........................................................................................76

6.3. Шкалирование результатов ГИА и ЕГЭ и их 

       использование в управлении качеством образования..................76

Вопросы и задания............................................................................................79 Список рекомендуемой литературы................................................................79

Глава 7. СОДЕРЖАНИЕ И СТРУКТУРА ТЕСТОВЫХ ЗАДАНИЙ 

ПО МАТЕМАТИКЕ………………………………………………………......80

7.1.     Требования к конструированию тестовых заданий.…………....80

7.2.     Структура тестового задания. Принципы отбора ответов         и содержания тестовых заданий………………………………….86

7.3.     ГИА и ЕГЭ: спецификация, кодификатор, демоверсия – 2012..90

Вопросы и задания............................................................................................92

Список рекомендуемой литературы................................................................92

ЛАБОРАТОРНЫЕ ЗАНЯТИЯ………………………………………….........93

Материалы к лабораторным занятиям…………………………..........98

ВОПРОСЫ К ЗАЧЁТУ....................................................................................102

КОНТРОЛЬНЫЕ ИЗМЕРИТЕЛЬНЫЕ МАТЕРИАЛЫ...............................103

БИБЛИОГРАФИЧЕСКИЙ СПИСОК............................................................105

Учебное издание

ЛОПАТКИНА Елена Вячеславовна

СОВРЕМЕННЫЕ СРЕДСТВА 

ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

Учебное пособие

Подписано в печать 22.06.12.

Формат 60×84/16.  Усл. печ. л. 6,51. Тираж 50 экз.

Заказ

Издательство

Владимирского государственного университета

имени Александра Григорьевича и Николая Григорьевича Столетовых.

600000, Владимир, ул. Горького, 87.