Пожалуйста, введите доступный Вам адрес электронной почты. По окончании процесса покупки Вам будет выслано письмо со ссылкой на книгу.

Выберите способ оплаты
Некоторые из выбранных Вами книг были заказаны ранее. Вы уверены, что хотите купить их повторно?
Некоторые из выбранных Вами книг были заказаны ранее. Вы можете просмотреть ваш предыдущий заказ после авторизации на сайте или оформить новый заказ.
В Вашу корзину были добавлены книги, не предназначенные для продажи или уже купленные Вами. Эти книги были удалены из заказа. Вы можете просмотреть отредактированный заказ или продолжить покупку.

Список удаленных книг:

В Вашу корзину были добавлены книги, не предназначенные для продажи или уже купленные Вами. Эти книги были удалены из заказа. Вы можете авторизоваться на сайте и просмотреть список доступных книг или продолжить покупку

Список удаленных книг:

Купить Редактировать корзину Логин
Поиск
Расширенный поиск Простой поиск
«+» - книги обязательно содержат данное слово (например, +Пушкин - все книги о Пушкине).
«-» - исключает книги, содержащие данное слово (например, -Лермонтов - в книгах нет упоминания Лермонтова).
«&&» - книги обязательно содержат оба слова (например, Пушкин && Лермонтов - в каждой книге упоминается и Пушкин, и Лермонтов).
«OR» - любое из слов (или оба) должны присутствовать в книге (например, Пушкин OR Лермонтов - в книгах упоминается либо Пушкин, либо Лермонтов, либо оба).
«*» - поиск по части слова (например, Пушк* - показаны все книги, в которых есть слова, начинающиеся на «пушк»).
«""» - определяет точный порядок слов в результатах поиска (например, "Александр Пушкин" - показаны все книги с таким словосочетанием).
«~6» - число слов между словами запроса в результатах поиска не превышает указанного (например, "Пушкин Лермонтов"~6 - в книгах не более 6 слов между словами Пушкин и Лермонтов)
 
 
Страница

Страница недоступна для просмотра

OK Cancel
ПЕДАГОГИЧЕСКОЕ ОБРАЗОВАНИЕ Н. САМЫЛКИНА СОВРЕМЕННЫЕ СРЕДСТВА ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ ПЕДАГОГИЧЕСКОЕ ОБРАЗОВАНИЕ Н. САМЫЛКИНА СОВРЕМЕННЫЕ СРЕДСТВА ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ 4 е издание, электронное Москва Лаборатория знаний 2020 УДК 004.9 ББК 32.97 С17 С е р и я о с н о в а н а в 2007 г. Самылкина Н. Н. С17 Современные средства оценивания результатов обучения / Н. Н. Самылкина. — 4-е изд., электрон. — М. : Лаборатория знаний, 2020. — 175 с. — (Педагогическое образование). — Систем. требования: Adobe Reader XI ; экран 10".— Загл. с титул. экрана. — Текст : электронный. ISBN 978-5-00101-801-8 Книга представляет собой курс лекций для новой общепрофессиональной дисциплины «Современные средства оценивания результатов обучения» для подготовки будущих учителей информатики в области теории и практики педагогических измерений с использованием компьютерных технологий. Она также может быть полезна при изучении раздела «Использование современных информационных и коммуникационных технологий в учебном процессе» и курса «Психолого-педагогическая диагностика на основе компьютерного тестирования» для учителей информатики. Для студентов педагогических вузов, учителей, методистов и администрации образовательных учреждений, а также для аспирантов и соискателей при подготовке ими диссертаций (при обработке результатов педагогического эксперимента). УДК 004.9 ББК 32.97 СовреДеривативное издание на основе печатного аналога: менные средства оценивания результатов обучения / Н. Н. Самылкина. — М. : БИНОМ. Лаборатория знаний, 2007. — 172 с. : ил. — (Педагогическое образование). ISBN 978-5-94774-459-0 В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений, установленных техническими средствами защиты авторских прав, правообладатель вправе требовать от нарушителя возмещения убытков или выплаты компенсации ISBN 978-5-00101-801-8 c ○ Лаборатория знаний, 2015 СОДЕРЖАНИЕ Введение в проблему педагогических измерений . . . . . . . . . 5 Актуальные вопросы оценки качества образования . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Таксономия образовательных целей и результаты обучения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Педагогический тест как объективный способ оценивания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Основные этапы конструирования педагогического теста . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 Общие подходы к оценке достижения требований к уровню подготовки выпускников основной и средней школы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Классическая теория тестов. Достоинства 2794633475-11 и недостатки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 Немного о современной теории создания тестов. . . . . . . . . 79 Методы шкалирования и интерпретации результатов тестирования . . . . . . . . . . . . . . . . . . . . . . . . 88 Использование программных средств автоматизации хода выполнения и обработки результатов тестирования . . . . . . . . . . . . . . . . . . . . . . . . 94 Инструментальные программные системы для разработки и использования тестовых заданий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 Литература. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 Приложение 1. Кодификатор элементов содержания по информатике для составления контрольных измерительных материалов (КИМ) единого государственного экзамена . . . . . . . . . . . . . . . . . . . . . . . 116 Приложение 2. Спецификация экзаменационной работы по информатике для выпускников XI (XII) классов общеобразовательных учреждений 2005 г. . . . . . . . . . . . . . 122 4 Содержание Приложение 3. Единый государственный экзамен по информатике. Демонстрационный вариант 2005 г. . . . . 138 Приложение 4. Система оценивания заданий с развернутым ответом. . . . . . . . . . . . . . . . . . . . . . . . . . 158 2794633475-11 ВВЕДЕНИЕ В ПРОБЛЕМУ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ Ø Основы теории педагогических измерений Ø Переменные измерения и их взаимосвязь Ø Систематические и случайные ошибки измерений, истинный балл Ø Доверительный интервал Ø Точечные и доверительные оценки Начиная разговор о педагогических измерениях в образовании, необходимо познакомиться с некоторыми понятиями, которые будут использоваться в дальнейшем. Контроль — важнейший компонент практической деятельности педагога, позволяющий выявить достоинства и недостат2794633475-11 новых методов обучения, установить взаимосвязи между планируемыми, реализуемыми и достигнутыми уровнями образования, оценить достижения ученика, выявить пробелы в его знаниях и умениях, определить эффективность работы педагогического коллектива в целом (для принятия управленческих решений) и многое другое. С другой стороны, контроль — это объект теоретических исследований, в настоящее время тесно связанный с изменениями подходов к определению и оценке качества образования. Понятие «педагогический контроль» можно рассматривать как единую дидактическую и методическую систему проверочной деятельности. Применительно к повседневному учебному процессу, проверочная деятельность направлена на выявление и оценку результатов учебной деятельности школьников или студентов. В действительности, несмотря на существующие общие критерии выставления, оценка остается субъективным мерилом учебных достижений. Возникает проблема объективного измерения результатов учебной деятельности: «Измерение предполагает проведение объективного количественного сопоставления оцениваемого свойства ученика с некоторым эталоном, принятым в качестве единицы измерения. При педагогическом измерении роль оце- 6 Современные средства оценивания результатов обучения ниваемого свойства отводится знаниям, умениям и навыкам ученика, так традиционно сложилось в отечественной практике, — а вместо единицы измерения используются контрольные задания или части заданий по проверяемому содержанию предмета» [20]. Существует и общее определение: «Измерение — процесс сопоставления оцениваемых характеристик объекта на числовую ось» [13] — настолько общее, что оно не отражает процедуру измерения и характеристики используемой шкалы. «Измерение — оценка (как процедура), проводимая с использованием понятия шкалы вполне определенных способностей для количественной оценки поведения или характеристики, например, математических способностей» — таково современное понимание измерения в международном сообществе специалистов [5]. Итак, проблема педагогических измерений ставит перед нами три вопроса: Для чего измерять? l Что измерять? l Чем измерять? l Проще всего ответить на первый вопрос, связанный с постановкой целей контроля. Для определения степени владения ба2794633475-11 знаниями, умениями и навыками, необходимыми для начала обучения, служит входной контроль. Для выявления пробелов в знаниях в процессе изучения нового материала предназначен текущий, или тематический, контроль. Для оценки качества знаний после прохождения всего предметного курса или итоговой аттестации выпускников основной или средней (полной) школы служит итоговый контроль. Второй же и третий вопросы взаимосвязаны и более сложны. В педагогическом контроле нет выделенного объекта измерения, нет точки отсчета («абсолютного нуля»), нет единиц измерения. Все это создает определенные трудности, которые специалисты пытаются решать, опираясь на математическую теорию измерений. Понятие «измерения» специалистами трактуется следующим образом. Измерения — это конструирование числовой функции, осуществляющей изоморфное отображение эмпирической структуры в некую числовую шкалу, где изоморфизм определяет условия взаимно-однозначных соответствий при отображении. Отсюда главная задача измерения: поиск такой числовой структуры, которая будет изоморфна эмпирическим референтам (измеряемым характеристикам) [20]. Введение в проблему педагогических измерений 7 Для педагогических измерений необходимо определить следующие параметры: объект измерения (переменные измерения), измерительная процедура, средства измерения и шкала. Главная проблема при этом — выделить переменные измерения, которые в педагогике не носят явного характера. Такие переменные называют латентными (неявными), т. е. скрытыми от возможности непосредственного измерения. Такая переменная может быть выражена в виде совокупности заданий и проявляться только в эмпирических результатах выполнения теста, путем анализа; точность такого измерения, разумеется, ниже, чем в точных науках. В качестве переменной измерения могут выступать дискретные и непрерывные характеристики: из них дискретные не имеют промежуточных значений между двумя точками, тогда как непрерывные могут принимать любые значения на всем заданном интервале. При измерениях используют следующие обозначения (рис. 1). На некоторой числовой оси выделяют интервал, называемый доверительным, в котором находятся наблюдаемый балл (Х) и истинный балл (Т). 2794633475-11 Рис. 1 Доверительным интервалом специалисты называют такие пределы выборочного распределения, в которых можно с заранее определенной вероятностью ожидать нахождения значения (т. е. результатов работы всех возгенеральной совокупности можных тестируемых). Следовательно, все точки, лежащие в доверительном интервале, можно считать доверительными оценками. Интервальное исследование — это получение некоторого интервала вокруг наблюдаемого балла (Х), границы которого определяются ошибкой измерения и внутри которого лежит истинный балл (Т). Постепенно сужая интервал, мы приближаемся к истинному баллу. Математические способы позволяют от Х 8 Современные средства оценивания результатов обучения максимально близко подойти к Т, но в классической и современной теории тестирования это реализуется по-разному. Процедура измерения — совокупность операций, позволяющая перейти от эмпирических референтов (заданий) к числовым оценкам измеряемых характеристик. Измерительный инструмент состоит из двух компонентов: теста и шкалы для фиксации результатов измерения. Педагогический тест — это инструмент, состоящий из квалиметрически (с использованием различных методов определения качества) выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, измерение которых возможно в процессе систематического обучения [9]. Оставим пока понятие «педагогический тест» для отдельного обсуждения и рассмотрим понятие шкалы. «Шкала — числовая система, в которой отношения между различными свойствами изучаемых явлений, процессов переведены в свойства того или иного множества, как правило — мно2794633475-11 чисел» [13]. Существуют шкалы отношений, интервальные шкалы, порядковые (ранговые) и номинальные (шкалы наименований). Здесь шкалы были перечислены в порядке убывания их мощности; в тестологии же, описывая использование тех или иных шкал, говорят об «уровнях измерений»: 1. Шкала наименований представляет собой номинальный не связана с понятием «величина» (т. е. является уровень, неметрической) и используется для того, чтобы отличать один объект от другого (фамилии учеников, номера телефонов и пр.). Над элементами такой шкалы не допускается никаких арифметических действий, — возможен лишь подсчет количества объектов с совпадающими признаками. Для школьной практики это означает возможность подсчета количества отличников, «хорошистов» или двоечников и сравнение этих групп по количеству учащихся. 2. Порядковая шкала (ранговая, шкала упорядоченной классификации) представляет собой ординальный уровень, когда объекты измерения разбиваются на группы, соответствующие определенной точке шкалы. Такая шкала только упорядочивает объекты, приписывая им те или Введение в проблему педагогических измерений 9 иные ранги. Относительно же значений этой шкалы нель- зя говорить ни о том, во сколько раз измеряемая величина больше или меньше другой, ни о том, на сколько она меньше или больше; не допускается никаких арифметических действий со значениями, — допустима лишь замена чисел, характеризующих величину того или иного признака, другими, не нарушающими ранговый порядок объектов. Для корректного использования этой шкалы в школе так- же следует помнить, что с ее помощью можно подсчитать лишь количество учащихся, получивших различные оценки. Сравнивать же качество их подготовки путем вычисления среднего балла недопустимо! 3. Интервальная шкала (интервальный уровень измерения) основана на сравнении различий между объектами по величинам измеряемых признаков или свойств и характеризуется тем, что не имеет естественного начала отсчета и единиц измерения. Начало отсчета и интервалы здесь выбираются по договоренности относительно выбранного параметра, т. е. шкалу можно растягивать и сжимать. Интервальная шкала позволяет рассчитать среднее арифметическое и среднее 2794633475-11 квадратичное отклонение и коэффициенты корреляции. Современная теория тестов позволяет преобразовать результаты тестирования в интервальную шкалу. Для школьной практики это новый формат оценивания, который может прижиться при активном внедрении тестовых форм контроля качества подготовки выпускников. 4. Шкала отношений — самая мощная шкала. Она позволяет оценивать, во сколько раз один измеряемый объект больше (меньше) другого объекта, принимаемого за эталон. Шкала отношений имеет естественное начало отсчета, но в ней нет естественной единицы измерений. Шкалами отношений измеряют почти все физические величины, но ею нельзя пользоваться в социальных измерениях. Говоря о качестве педагогических измерений, прежде всего подразумевают их объективность. Существует несколько градаций объективности. Процедурная объективность отождествляется с объективностью процедуры тестирования (отсутствует педагог, одинаковые условия для всех, единые критерии проверки и пр.). Классическая объективность описывается формулой: = + . Х Т Е (наблюдаемый балл) (истинный балл) (ошибка измерения) АКТУАЛЬНЫЕ ВОПРОСЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ Ø Содержание понятия «качество образования» в отечественной и зарубежной образовательной практике Ø Первые шаги становления общероссийской системы оценки качества образования Ø Представления о качестве подготовки учащихся общеобразовательных учреждений Ø Показатели качества Ø Принципы отбора показателей качества Ø Международные программы по оценке образовательных достижений учащихся По мнению как ученых, так и политиков, качество образова2794633475-11 и интеллектуальных ресурсов становится главным геополитическим фактором в мире [1]. В России повышенное внимание к проблеме качества образования обусловлено происходящими в последнее десятилетие политическими и социально-экономическими изменениями и связанными с ними процессами модернизации российского образования. Отечественная система образования призвана решить ряд принципиально новых задач: обеспечить новое качество образования за счет развития l личностно ориентированного обучения; сохранить единство образовательного пространства, создаl при этом условия для развития системы вариативного образования; обеспечить равный доступ к получению качественного обl для всех социальных слоев населения. Изменение целей и задач образования, а также условий его получения тесно связано с изменением подходов к определению и оценке качества образования. В настоящее время становится все более ясно, что образовательную ценность представляет не только система знаний человека, но и освоение способов их получения, способность выявлять потребность в новых знаниях, 12 Современные средства оценивания результатов обучения умение быстро и эффективно, самостоятельно или во взаимодействии с другими людьми восполнять имеющиеся пробелы. Такой подход не позволяет отождествлять качество образования с качеством знаний (обученности): оценка качества образования подразумевает оценку качества образовательных достижений обучающихся и оценку качества образовательного процесса. Таким образом, под качеством образования понимается интегральная характеристика системы образования, отражающая степень соответствия реально достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям [21]. В ближайшее время наиболее актуальной государственной задачей в России является создание общероссийской системы как совокупности оргаоценки качества образования (ОСОКО) низационных и функциональных структур, обеспечивающей основанную на единой концептуально-методологической основе оценку образовательных достижений и определение личностных качеств детей и взрослых граждан, а также выявление факторов, влияющих на образовательные результаты. Создание общероссийской системы оценки качества образования в России должно способствовать достижению следующих 2794633475-11 целей: обеспечение объективности и справедливости при приеме l в образовательные учреждения; сохранение единого образовательного пространства; l повышение уровня информированности потребителей обl услуг при принятии решения о продолжении образования или трудоустройстве; развитие государственной аттестационной службы; l принятие обоснованных управленческих решений по поl качества образования. Для управления качеством образования в нашей стране, прогнозирования развития образования, определения политики в области образования необходимо иметь единую картину о результатах образования и о факторах, влияющих на эти результаты. Оценка качества образования должна быть нацелена на фиксацию не только некоторого «мгновенного» состояния системы, но и динамики ее развития. При создании ОСОКО необходимо учесть, что оценка качества образования (как процесс) включает в себя несколько этапов, составляющих некий инвариант: ТАКСОНОМИЯ ОБРАЗОВАТЕЛЬНЫХ ЦЕЛЕЙ И РЕЗУЛЬТАТЫ ОБУЧЕНИЯ Ø Образовательные стандарты и ожидаемые результаты обучения Ø Требования к результатам обучения как основа критериального подхода к оцениванию образовательных достижений Ø Таксономия учебных достижений, используемая в едином государственном экзамене Таксономия (от греч. tбxis — расположение, строй, порядок и nуmos — закон) — теория классификации и систематизации сложно организованных областей действительности, обычно имеющих иерархическое строение (органический мир, объекты географии, геологии, языкознания, этнографии и т. д.). 2794633475-11 Понятие «таксономия» впервые возникло в биологии (термин предложен в 1813 г. швейцарским ботаником О. Декандолем, разрабатывавшим классификацию растений) [3]. В рамках образовательной технологии Б. Блумом в 1956 г. была создана первая (иерархически взаимосвятаксономия система) педагогических целей. При этом Б. Блум и Д. Кратволь разделили цели образования на три области: когни(требования к освоению содержания предмета), тивную психомоторную (развитие двигательной, нервно-мышечной деятельности) и аффективную (эмоционально-ценностная область, отношение к изучаемому). К иерархии когнитивных процессов относят следующие шесть категорий: знание; l понимание; l применение; l l анализ; синтез; l оценка. l Таксономия Блума неоднократно подвергалась критике отечественными учеными, поскольку в ней произошло смешение конкретных результатов обучения (знание, понимание, приме- 18 Современные средства оценивания результатов обучения нение) с мыслительными операциями, необходимыми для их достижения (анализ, синтез, оценка). В основу же отечественных разработок положен уровневый системный подход описания достижений учащихся, который позволяет сгруппировать результаты обучения в зависимости от уровней учебной деятельности. Однако, по мнению А. Н. Майорова [9], сегодня нет отечественных разработок уровней обученности, которые обладают качествами, позволяющими использовать их в практике разработки тестового инструмента. Здесь возникают следующие трудности: предлагаемые уровни усвоения учебного материала должны l однозначно восприниматься педагогическим сообществом; l необходимо, чтобы они позволяли получить взаимно однозначное соответствие сложности конкретного задания и уровня усвоения представленного доминирующего элемента содержания; сложно получить полное покрытие всех возможных знаl и способов деятельности. Сравним группу педагогических целей, выделяемую зарубежными и отечественными специалистами (табл. 1) 2794633475-11 Таблица 1 Б. Блум, Д. Кратволь О. Е. Лебедев И. Я. Лернер Когнитивная, познава- Развитие знаний Знания о природе, тельная область обществе, технике, человеке Психомоторная область Развитие умений Опыт осуществления и навыков способов деятельности (в том числе и творческий) эмоционально- Развитие системы Эмоциональноценностная область отношений чувственный опыт Можно констатировать, что все указанные авторы достаточно близки в своих подходах, но между ними наблюдается некоторая терминологическая разница. При этом к первой области относят различные уровни усвоения знаний, ко второй — умения (усвоенные способы деятельности) в разной степени самостоятельности их выполнения, а к третьей — отношения, интересы, склонности. Рассмотрим проведенную конкретизацию целей-результатов различными специалистами (табл. 2): ПЕДАГОГИЧЕСКИЙ ТЕСТ КАК ОБЪЕКТИВНЫЙ СПОСОБ ОЦЕНИВАНИЯ Ø Классификация педагогических тестов Ø Основные определения Ø Виды тестирования Ø Компьютерное тестирование Тест (от англ. test — испытание, проверка) — стандартизованные, краткие, ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий [8]. По мере использования тестов была сформирована их классификация по цели и содержанию: l тесты личности — для оценки эмоционально-волевых качеств индивидуума; 2794633475-11 тесты интеллекта — для анализа уровня развития познаl процессов и функций мышления; тесты способностей — для оценки возможности в овладеl различной деятельностью; тесты достижений, с помощью которых оценивают развиl знаний, умений, навыков после обучения. Из всего многообразия типов стандартизованных тестов в образовании используют тесты достижений. Они создавались для проверки результатов обучения на разных ступенях получения образования, измерения эффективности программ и процесса обучения. Тесты достижений принято противопоставлять тестам способностей, состоящим из тестов общего интеллекта, комплексных батарей способностей и тестов специальных способностей. Можно сказать, что тесты способностей измеряют эффективность обучения в относительно неконтролируемых и неизвестных условиях, в то время как тесты достижений измеряют эффективность обучения при частично известных и контролируемых условиях [3]. Первое применение тестов в системе образования относится к 1904 г., когда французский психолог А. Бине использовал серию тестов для отбора детей с пониженным уровнем интеллек- 28 Современные средства оценивания результатов обучения туального развития. Термин же «коэффициент интеллектуального развития IQ», который применяется и сейчас, уже в его современной интерпретации, был предложен учеными Стэнфордского университета США. В начале прошлого столетия появились первые тесты по измерению результатов школьного обучения. Р. Л. Торндайк в 1933 г. предложил использовать в тестах психологические принципы измерения, т. е. сравнение относительно единой системы нормативов [8]. В настоящее время целесообразно отделить педагогический инструмент от психологического. Можно считать, что педагогические тесты направлены на выявление тех личностных новообразований и приращений, которые получены в результате систематического обучения. Психологические же тесты направлены на выявление особенностей, полученных в результате всей жизнедеятельности. Соответственно, различны и принципы построения и обработки этих двух типов тестов. В настоящее время формируется «прикладное направление научной педагогики — педагогическая тестология, призванная заниматься научными вопросами разработки тестов, применяемых для объективного контроля учебных достижений». При 2794633475-11 этом само понятие «педагогический тест» необходимо использовать в двух смыслах: как метод педагогического измерения и как результат применения теста. Понятийный аппарат тестологии еще только формируется, поэтому возможно использование разными специалистами различных трактовок одного и того же понятия. Например, ранее мы использовали определение А. Н. Майорова: «Тест (в том числе педагогический) — это инструмент, состоящий из квалиметрически (с использованием различных методов определения качества) выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, измерение которых возможно в процессе систематического обучения» [9]. Это определение позволяет формально просто отделить тест от «не теста»: тест объединяет, как минимум, три составляющих элемента — систему заданий, технологию предъявления и отработанную систему проверки, обработки и анализа результатов. Можно использовать и следующее определение В. С. Аванесова, по своей сути не противоречащее первому: «Педагогическим тестом называется система заданий специфической формы, опре- ОСНОВНЫЕ ЭТАПЫ КОНСТРУИРОВАНИЯ ПЕДАГОГИЧЕСКОГО ТЕСТА Ø Основные этапы построения педагогического теста Ø Типология тестовых заданий для школьного курса информатики Ø Проблемы при составлении тестовых заданий Ø Методические особенности разработки тестовых заданий для школьного курса информатики Поскольку международное профессиональное сообщество использует тестовый инструментарий достаточно продолжительное время и для разных целей, понятно, что каждый разработчик пользуется своей технологией построения тестов. Поэтому будут различаться и этапы разработки педагогического теста в зависимости от его назначения, т. е. от цели его создания. Проанализировав различные подходы ведущих разработчиков 2794633475-11 (Голландского института CITO, экзаменационного синдиката Кембриджского университета, Федерального института педагогических измерений), а также рекомендации отечественных тестологов, определим основные этапы процесса разработки теста, не забывая, что содержательная наполняемость этих этапов будет в каждом случае различаться. I. Этап целеполагания. В зависимости от цели использования тестового инструментария, определяются его вид, ресурсные возможности, источники финансирования, бюджет, круг привлекаемых специалистов и пр. II. Подготовительный этап. Анализ и отбор содержания проверяемого материала. Подготовка структуры работы, определение типов и количества используемых заданий, времени проверки, системы оценивания, условий проведения и проверки, рекомендаций по подготовке к тестированию. Этап составления теста. Разработка тестовых заданий. Экспертиза и доработка составленных заданий. 38 Современные средства оценивания результатов обучения Построение выборки для апробации заданий и тестов. Компоновка заданий для апробации. Апробация тестовых заданий. Определение и расчет показателей качества тестовых заданий. Анализ результатов апробации и составление вариантов теста. Экспертиза и доработка вариантов теста. IV. Этап проведения теста и анализа полученных результатов. Стандартизация теста. Нормирование теста. Подготовительные работы по техническому оснащению. Отслеживание проведения теста. Обработка результатов, получение статистических данных для анализа. Анализ результатов. Подготовка итогового отчета. Поговорив достаточно подробно о целях педагогического тестирования, обсудим теперь возможные проблемы при составлении тестовых заданий. Здесь также существуют некоторые общие правила, на которые можно опираться во время работы над тестом. Различными авторами предлагаются различные классификации видов тестовых заданий. Рассмотрим наиболее употреби2794633475-11 из них в практике тестирования. Предварительно можно выделить четыре основные группы тестовых заданий: с выбором одного правильного ответа из нескольких предl (закрытая форма); с вводом ответа свободной формулировке (открытая l форма); на установление соответствия; l на установление правильной последовательности. l Наиболее часто цитируемым автором по указанной проблематике является В. С. Аванесов. Рассмотрим сформулированные им принципы построения заданий в тестовой форме. Их, конечно же, не стоит абсолютизировать, но они могут помочь нам сориентироваться в самом начале работы. (Напомним, что в различных публикациях рассматриваемые задания тестовой формы вне собственно теста называют «предтестовыми», «псевдотестовыми» или просто «тестовыми заданиями».) Выбор формы тестового задания зависит от цели контроля (сюда же относится форма предъявления задания — бланковая или компьютерная) и от содержания контролируемого материала. ОБЩИЕ ПОДХОДЫ К ОЦЕНКЕ ДОСТИЖЕНИЯ ТРЕБОВАНИЙ К УРОВНЮ ПОДГОТОВКИ ВЫПУСКНИКОВ ОСНОВНОЙ И СРЕДНЕЙ ШКОЛЫ Ø Специфика учебного предмета «Информатика и ИКТ» Ø Структурные и содержательные особенности стандарта по информатике и ИКТ Ø Переход от требований обязательного минимума содержания к требованиям стандарта основной, а затем и профильной школы Ø Анализ и конкретизация требований стандарта для построения проверочных заданий. Технологическая матрица В новом образовательном стандарте предмет «Информатика и ИКТ» изучается в основной школе, и содержательно для основной школы он изменился минимально. Поскольку специ2794633475-11 предмета всегда состояла в наличии большого практического компонента, это всегда вызывало трудности при организации и проведении итогового контроля знаний и умений учащихся в любых формах. Сегодня в этом предмете условно можно выделить два раздела (направления), названия которых отражают сущность теоретического и практического компонентов: «Информационные процессы» и «Информационные технологии». При этом необходимо помнить о преемственности целей изучения информатики на разных уровнях. Изучение информатики и информационно-коммуникационных технологий на ступени основного общего образования направлено на достижение следующих целей: составляющих основу научных представl освоение знаний, лений об информации, информационных процессах, системах, технологиях и моделях; работать с различными видами инl овладение умениями формации с помощью компьютера и других средств информационных и коммуникационных технологий (ИКТ), организовывать собственную информационную деятельность и планировать ее результаты; 50 Современные средства оценивания результатов обучения l развитие познавательных интересов, интеллектуальных и творческих способностей средствами ИКТ; ответственного отношения к информации с l воспитание учетом правовых и этических аспектов ее распространения, избирательного отношения к полученной информации; l выработка навыков применения средств ИКТ в повседневной жизни, при выполнении индивидуальных и коллективных проектов, в учебной деятельности, при дальнейшем освоении профессий, востребованных на рынке труда. Изучение информатики и информационно-коммуникационных технологий на профильном уровне среднего (полного) общего образования направлено на достижение следующих целей: освоение и систематизация знаний, относящихся к матеl объектам информатики, построению описаний объектов и процессов, позволяющих осуществлять их компьютерное моделирование, средствам моделирования, информационным процессам в биологических, технологических и социальных системах; овладение умениями строить математические объекты инl в том числе логические формулы и програм2794633475-11 на формальном языке, удовлетворяющие заданному описанию, создавать программы на языке программирования по их описанию, использовать общепользовательские инструменты и настраивать их для нужд пользователя; l развитие алгоритмического мышления, способностей к формализации, элементов системного мышления; чувства ответственности за результаты своего l воспитание труда, формирование установки на позитивную социальную деятельность в информационном обществе, на недопустимость действий, нарушающих правовые, этические нормы работы с информацией; приобретение опыта проектной деятельности, создания, l редактирования, оформления, сохранения, передачи информационных объектов различного типа с помощью современных программных средств, построения компьютерных моделей, коллективной реализации информационных проектов, информационной деятельности в различных сферах, востребованных на рынке труда. Рассмотрев представленные выше цели, нетрудно понять важность изучения предмета «Информатика и ИКТ» в основной школе с точки зрения формирования общеучебных и предмет- КЛАССИЧЕСКАЯ ТЕОРИЯ ТЕСТОВ. ДОСТОИНСТВА И НЕДОСТАТКИ Ø Статистическое обоснование качества теста Ø Представление о репрезентативности выборки Ø Понятия и расчет основных статистических характеристик (меры центральной тенденции, мода, медиана, дисперсия, стандартное отклонение, коэффициенты корреляции) Ø Нормальное распределение. Проверка на нормальность В соответствии с классической теорией тестов, показателями качества тестовых заданий являются такие статистические характеристики, как и трудность дискриминативность (дифференцирующая способность). Трудность задания необходимо определить для правильного 2794633475-11 конструирования теста. Она определяется как доля учащихся, справившихся с заданием. Более точное определение — это характеристика тестового задания, выраженная процентом от количества испытуемых репрезентативной выборки, верно выполнивших задание. Поэтому необходимо опробовать составленные тестовые задания на репрезентативной выборке учащихся. Репрезентативназывают выборку, в которой пропорционально представленой все элементы генеральной совокупности (т. е. всех испытуемых). Более точное определение: репрезентативной называется выборка, составленная в соответствии с теорией формирования представительных выборок, при условии, что была научно доказана представительность выборки ко всей совокупности. Проблема формирования репрезентативной выборки широко прорабатывается международной педагогической общественностью. Наша страна несколько отстает в этом вопросе, поскольку имеет специфику по структуре населения и прочим характеристикам. Методики формирования выборок и практика использования разных методов — это отдельный самостоятельный вопрос, описанный в специальной литературе [10]. Этот вопрос может быть включен в учебный процесс по педагогическим специальностям и направлениям вузов в комплексе с вопросами Классическая теория тестов. Достоинства и недостатки 67 рассмотрения современной теории тестов для получения дополнительной специальности «Тестолог». В ходе создания тестов для тематического контроля педагогу самостоятельно не удастся сформировать репрезентативную выборку в соответствии с научными требованиями. Если на первоначальном этапе учитель-предметник имеет в параллели несколько классов, то для начала разработки тематических тестов этого достаточно. Затем лучше всего такую работу проводить на базе методических центров районов, округов, городов, поскольку в этом случае в апробации можно использовать данные, полученные на большем количестве учащихся соответствующего возраста, а в выборке будут представлены учащиеся различных типов образовательных учреждений и разных социальных слоев. В любом случае при описании назначения теста необходимо указать, на какой выборке были получены данные для его апробации. Создание высококачественных итоговых тестов по всему предметному курсу — дело специалистов соответствующих центров. Учитель-предметник же должен разбираться в многочисленном тестовом материале и уметь использовать готовые тесты в соответствии с их назначением. Необходимо правильно истолковывать понятие трудности. 2794633475-11 Рассмотрим ее значение на элементарном примере. Пусть из 100 учащихся выполнили первое задание 30 учащихся, а второе — 60. Это означает, что второе задание — менее трудное и его надо поставить в начале теста. Некоторые специалисты пользуются обратной величиной (долей тех, кто с заданием не справился), называемой «индексом трудности». В ЕГЭ также используют процент выполнения от количества всех приступивших. Статистическая трудность необходима для определения места задания в тесте. Значение трудности — это условная величина, поскольку она зависит от выборки: для сильных и слабых групп это значение будет меняться. Значения трудности, меньшие 20 и большие 80, считают критическими, и в нормативноориентированные тесты такие задания включать не рекомендуют. Для критериально-ориентированных тестов эта характеристика не существенна. Как оценить правильность расположения заданий в тесте? Пусть учащийся выполнил три из четырех предложенных ему заданий, за каждое выполненное задание получил 1 балл, а невыполненное задание оценивается в 0 баллов. Его профиль (результаты выполнения в виде дихотомических оценок «0» и «1») будет выглядеть так: «1110». Если рассматривать ситуацию на оси переменной, то этот случай выглядит следующим образом (рис. 2). НЕМНОГО О СОВРЕМЕННОЙ ТЕОРИИ СОЗДАНИЯ ТЕСТОВ Ø Преимущества современной теории создания тестов Ø Понятие о параллельности вариантов Ø Надежность и валидность За рубежом с конца XX века принята Item Response Theory (IRT), понимаемая как современная теория создания тестов, в основе которой лежит применение математико-статистических моделей измерения для оценки латентных параметров испытуемых и параметров заданий теста. Модели педагогических измерений в рамках IRT являются частным примером более общей теории латентно-структурного анализа — LSA (Latent Structure Analyses). Латентно-структурный анализ нацелен на выявление внутренних, скрытых качеств и факторов поведения (дея- тельности) учащихся посредством 2794633475-11 математико-статистических моделей измерения и обработки результатов. Специалисты, работающие в рамках IRT, пытаются выработать некоторый фундаментальный теоретический подход к созданию тестов, а также корректно решить целый ряд практических задач педагогического измерения. Используемые модели IRT позволяют повысить точность измерений и оптимизировать процедуру контроля за счет адаптации теста к уровню подготовленности учащегося, т. е. можно визуализировать формальные характеристики тестовых заданий и увидеть, как работают эти задания. Возможность объединить в одной шкале измерения уровня подготовленности учащихся и трудности заданий — серьезное преимущество IRT перед классической теорией. В зависимости от количества оцениваемых параметров тестируемых различают несколько видов математических моделей, используемых для анализа качества современных тестов. Однопараметрическая модель Раша (G. Rash) устанавливает зависимость между уровнем подготовленности испытуемого и трудностью заданий. Вероятность правильного ответа на задания здесь выражается посредством логистической функции, после введения которой симметрично возникла математическая модель, описывающая вероятность правильного ответа в зависимости от трудности заданий и позволяющая построить соот- 80 Современные средства оценивания результатов обучения ветствующие характеристические кривые. Если используется тест с известными устойчивыми значениями параметра трудности, то задача сводится к оценке значений уровня подготовленности испытуемых. Однопараметрическая модель Раша: q - b 1 , 7 ( ) j e q = P ( ) ; q - b J 1 , 7 ( ) + j 1 e q - b 1 , 7 ( ) e i b = P ( ) , i q - b 1 , 7( ) + 1 e i q b где и — независимые переменные для первой и второй функций. модель А. Бирнбаума (А. Birnbaum) позволяет добавить для анализа еще один параметр — дифференцирующую способность, позволяющую оценить меру структурированности знаний учащегося. Двухпараметрическая модель А. Бирнбаума: 2794633475-11 q - b 1 , 7 ( ) a j j e q = ( ) ; P q - b J 1 , 7 ( ) a + j j 1 e q - b 1 , 7 a ( ) e i i b = P ( ) . q - b i 1 , 7 a ( ) + 1 e i i Здесь Бирнбаум ввел параметр a для характеристики дифj способности задания при изменении различq, значений а параметр указывает на меру структурироa знаний ученика. Для также учитывается и ветрехпараметрической модели роятность угадывания ответов. Но из-за сложности обработки трехпараметрическую модель почти не используют. В каждой из упомянутых моделей вычисляемые параметры выражаются как шкалированные показатели единой шкалы логитов. Благодаря единой шкале можно корректно сравнивать результаты учеников, полученные с помощью различных тестов, подбирать оптимальные значения трудности заданий, позволяющие с минимальной ошибкой измерить уровень подготовки учащихся. МЕТОДЫ ШКАЛИРОВАНИЯ И ИНТЕРПРЕТАЦИИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ Ø Стандартизация и нормы Ø Сравнительная характеристика шкал Ø Перевод данных из одной шкалы в другую Как говорилось ранее, одной из основных характеристик теста является его стандартизованность, т. е. единая процедура проведения и подведения итогов тестирования. Процедура проведения тестирования определяется инструкцией и регламентацией всех действий во время тестирования. Важную роль в оптимизации этой процедуры играет правильное определение времени тестирования. Все организационные погрешности можно устранить при апробации. Но о подведении итогов тестирования имеет смысл поговорить отдельно. Полученные учащимся «сырые» баллы необходимо правиль2794633475-11 интерпретировать. «Сырые» баллы еще не дают никакой информации о реальном уровне знаний; один и тот же результат может быть истолкован по-разному, все зависит от того, слабая это была группа или сильная. Необходимо владеть методами интерпретации полученных «сырых» баллов, чтобы можно было выявить различия в уровнях знаний учащихся, чтобы сравнивать результаты, даже используя разные тесты. Чтобы адекватно интерпретировать первичные результаты учащихся, их «сырые» баллы, надо их сопоставить с определенными нормами выполнения теста. Нормы (нормативы) — это множество показателей, которые устанавливаются эмпирически, в зависимости от того, как выполняет задания теста некоторая четко определенная выборка тестируемых. Разработку процедуры получения этих показателей называют стандартизацией теста. Самыми распространенными показателями нормы считаются среднее арифметическое и стандартное отклонение. При сопоставлении первичного результата с нормами выполнения можно определить, насколько полученный результат выше или ниже среднего результата выполнения теста. При этом необходимо соблюдать некоторые важные требования: ученики, обучающиеся по разным программам и учебникам, должны сравниваться, исходя из разных норм, а сами Методы шкалирования и интерпретации результатов тестирования 89 нормы должны отражать реальное состояние как контингента обучаемых, так и реальные (выполнимые) требования программ обучения. Норма тесно связана с качеством выборки, поэтому при стандартизации особое внимание обращают на формирование выборки. Выборка должна отражать категорию лиц, для которых предназначен тест, максимально точно, чтобы погрешность была наcтолько малой, что ею можно было бы пренебречь. При подготовке выборки лучше пренебречь количеством, чем качеством! Для простого уменьшения стандартной ошибки достаточно выборки из 200–300 тестируемых при равномерном (пропорциональном) представлении различных категорий, которые различаются по социальному положению, типу школы, квалификации педагога, месту проживания и пр. Определение такой выборки называется процессом стратификации. Стратифицированная выборка стандартизации должна отражать равные пропорции школьников, объединенных по сочетанию этих признаков. Но даже эта процедура не решает в пол- ной мере проблем, связанных с интерпретацией результатов. Рассчитанные для каждой стратифицированной группы средние арифметические значения могут сильно различаться. 2794633475-11 Есть и еще одна проблема суммирования результатов, полученных по разным предметам (требование вузов при поступлении). Результаты могут быть не сравнимы между собой, поскольку они получены на разных по длине или трудности тестах. Тогда суммирование и интерпретация результатов должны предваряться процедурой выравнивания путем перевода «сырых» баллов в одну из стандартных шкал, используемых в педагогических измерениях. Процесс шкалирования состоит в конструировании шкалы по определенным правилам и включает в себя два этапа. На первом этапе осуществляется сбор данных. На втором этапе происходит их обработка и анализ, по результатам которого выстраивается оценочная шкала. Ранее мы уже рассмотрели различные виды шкал, поэтому далее остановимся на их использовании для педагогических измерений. Для определения положения тестируемого относительно выборки стандартизации набранные им «сырые» баллы переводят в некоторую относительную меру. По возможности следует перейти от порядковой к интервальной шкале, допускающей некоторое упорядочивание с учетом различий в уровне подготовки тестируемых путем введения фиксированной единицы ИСПОЛЬЗОВАНИЕ ПРОГРАММНЫХ СРЕДСТВ АВТОМАТИЗАЦИИ ХОДА ВЫПОЛНЕНИЯ И ОБРАБОТКИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ Ø Программные средства для проведения и обработки результатов тестирования Ø Зарубежный и отечественный опыт использования программных комплексов Ø Перспективы компьютерного тестирования Ø Компьютерные технологии в тестировании: автоматизированный комплекс тестового контроля учебных достижений Ø Автоматизированный комплекс для подготовки экспертов региональных предметных комиссий для ЕГЭ По самому способу своего построения тестовая форма оценки 2794633475-11 качества образования подразумевает стандартизацию и регламентацию процедуры испытаний, минимизацию субъективного влияния тестирующего на результаты прохождения теста. Различные попытки автоматизации процесса тестирования предпринимались достаточно давно. Основной их целью было сделать проведение тестирования максимально быстрым, уменьшить накладные расходы, увеличить количество тестируемых за единицу времени. До появления общедоступных ЭВМ автоматизация тестирования выполнялась с помощью электрических или механических устройств. В форме компьютерных программ тесты впервые стали применяться в рамках первых систем автоматизированного обуразрабатываемых в соответствии с чения, концепцией программируемого обучения. Тестовая форма оценки знаний учащихся позволяла автоматизировать обратную связь и значительно сократить затраты времени педагога на проведение теста и на первичный анализ его результатов. Несмотря на то, что комплексы такого рода так и не получили широкого распространения, с появлением компьютеров в учебных заведениях тесты стали одним из первых компьютерных учебных средств, вошедших в практику работы учителяпредметника. Использование программных средств автоматизации 95 Первые тестирующие системы представляли собой довольно примитивные программы, подразумевающие вывод вариантов ответов, ввод номеров ответов по выбору пользователя и накопление баллов. Чаще всего каждый тест был реализован как отдельная программа. Ограниченность средств ввода в таких программах вынуждала ограничивать и возможные формы ответов, упрощать тесты. Делать программу тестирования сложной, предусматривающей много учебных ситуаций, в этом случае затруднительно и нецелесообразно. эти недостатки привели к тому, что появились более универсальные системы создания и использования тестов (как средств компьютеризированного контроля), подразумевающие хранение тестов, вопросов и вариантов ответов в отдельных файлах данных. Также комплексы предусматривали в себе средства для пополнения и коррекции и тестов, и вопросов. Таким образом, появилось первое разделение: на программы для создания тестов и программы для прохождения тестов. Совершенствуясь, эти системы позволили создавать прообраз банков заданий, формировать структурно сложные тесты. 2794633475-11 Важной особенностью таких систем, по сравнению с примитивными тестирующими программами, является наличие более сложных и профессиональных интерфейсов и средств анализа ответов пользователей. Это позволяет значительно расширить спектр используемых видов тестовых заданий, проводить отложенное тестирование, автоматически создавать эквивалентные варианты тестов и пр. Современные системы такого рода используются для хранения тестовых заданиий, вариантов тестов и результатов учащихся. Инструментальные средства баз данных позволяют использовать в заданиях различные виды невербального материала (не только текст) и, как правило, имеют в своем составе два основных модуля: «модуль ученика» и «модуль учителя». Несмотря на все свои достоинства, системы такого рода достаточно сложны в развертывании. Для работы с ними требуется, как минимум, предварительная установка и настройка рабочих мест. Кроме того, разработка достаточно универсальной программы тестирования, предусматривающей сбор данных с большого количества рабочих мест, — тоже не самое простое дело. Создание сетевой версии систем тестирования — это барьер, который перешли лишь немногие разработчики. ИНСТРУМЕНТАЛЬНЫЕ ПРОГРАММНЫЕ СИСТЕМЫ ДЛЯ РАЗРАБОТКИ И ИСПОЛЬЗОВАНИЯ ТЕСТОВЫХ ЗАДАНИЙ Ø Банк тестовых заданий. Структура банка тестовых заданий Ø Требования к формированию компьютерных заданий для банка заданий Центры тестирования или оценки качества образования, независимо от их названия, помимо современного технического оснащения и достаточного кадрового обеспечения должны быть независимыми от органов управления образованием любого уровня, — только так можно обеспечить объективность измерений. Начальный этап работы специалистов — это проектирование и создание банка тестовых заданий. Постоянный мониторинг качества обучения по различным предметам позволит накопить необходимое количество заданий с хорошими характеристиками 2794633475-11 для подготовки итоговых проверочных работ и, таким образом, сформировать постоянный цикл работы. Создание банка тестовых заданий было начато с первого года эксперимента по ЕГЭ, поскольку для подготовки большого количества эквивалентных вариантов контрольных измерительных материалов (КИМ) необходимо иметь достаточное количество заданий с надежными характеристиками («калиброванных» заданий). Именно банк калиброванных тестовых заданий позволяет создавать необходимое количество вариантов в автоматическом режиме с заданными параметрами. Создание банка заданий — дело нескольких лет; простое накопление, апробация и аналитика — это циклические процессы. За основу банка заданий можно взять готовую базу данных, а можно создать новый программный продукт средствами современных систем программирования. Обязательным требованием к банку заданий должна быть свободная конвертация данных. Структуру банка тестовых заданий можно представить в виде следующих основных модулей: 1) доступ пользователей; 2) настройка базы; 3) ввод перечней характеристик; 4) ввод тестовых материалов; Инструментальные программные системы 109 5) сборка комплектов КИМ; 6) печать тестовых материалов; 7) вывод структуры банка; 8) сверка данных; 9) экспертиза тестовых материалов; 10) импорт данных; 11) экспорт тестовых материалов. Банк заданий формируется на основе кодификаторов, отражающих обязательные минимумы содержания по предметам. Каждое тестовое задание должно быть соотнесено с перечнем элементов содержания, представленном в кодификаторе. В ЕГЭ используется три типа тестовых заданий, которые фактически охватывают все существующие формы заданий. Основанием для различения этих типов стала схема обработки ответов тестируемых. Первый тип — это задания с выбором ответа (где тестируемый должен указать один правильный ответ из четырех предложенных вариантов). Второй тип — задания с кратким ответом (ввод текста не более чем из 17 символов). К этому типу можно отнести задания на установление соответст2794633475-11 и установление правильной последовательности. Ответы на первый и второй типы заданий проверяются компьютером. Третий тип заданий — с развернутым ответом (в виде анализа текста, сочинения-эссе, рецензии или практической работы). Ответы на эти задания оцениваются экспертами по специально разработанным критериям. Количество заданий в банке практически ежегодно удваивается. Но такие темпы пополнения скоро существенно снизятся, пойдет дублирование. Поэтому проблема определения схожести заданий вручную экспертамипредметниками сильно тормозит работу в целом. Автоматизация же этого процесса пока ограничивается уровнем генерации заданий по запросу, а их сверка производятся экспертами вручную. У каждого задания имеется определенный набор характеристик для идентификации: идентификационный номер задания, контролируемый элемент содержания, его код и название, номер требования к уровню подготовки выпускников, подтип задания и вид ответа, номер правильного ответа (для заданий с выбором ответа), краткий ответ (для соответствующих заданий), критерии оценивания (для заданий с развернутым ответом) и решение, максимальный балл, уровень подготовки, на который ориентировано задание (базовый, повышенный, высокий), время выполнения задания, процент выполнения зада- ЛИТЕРАТУРА Основная литература 1. Образование и XXI век: Информационные и коммуникационные технологии. — М.: Наука, 1999. 2. Аванесов В. С. Композиция тестовых заданий. М.: 1996. 3. Психологическое тестирование: Пер. с англ.: Анастази А. В 2-х тт. М.: Наука, 1985. 4. Образование и обучение с участием компьБеспалько В. П. ютеров (педагогика третьего тысячелетия). М.: МПСИ, 2002. 5. Глоссарий терминов по проведению экзаменов и тестов в системе образования. Education Support Program, OSI Budapest, 2003. 6. Ефремова Н. Ф. Современные тестовые технологии в образовании. М.: Логос, 2003. 7. Ковалева Г. С., Красновский Э. А., Краснянская К. А., Краснокутская Л. П., Найденова Н. Н., Татур А. О., Челышко2794633475-11 подходы к оценке достижения требова М. Б. ваний к обязательному уровню подготовки выпускников основной и средней школы. М.: Мин. обр., 1999. 8. Кузнецов А. А. Оценка достижения требований образовательных стандартов. М., 1998. 9. Майоров А. Н. Теория и практика создания тестов для системы образования. М.: Интеллект-центр, 2002. 10. Найденова Н. Н. Формирование репрезентативной выборки. М.: Логос, 2003. 11. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 12. Новый взгляд на грамотность. По материалам международного исследования PISA-2000. М.: Логос, 2004. 13. Статистические методы в педагогических Новиков Д. А. исследованиях. М.: МЗ-Пресс, 2004. 14. Педагогико-эргономические условия безопасного и эффективного использования средств вычислительной техники, информатизации и коммуникации в сфере общего среднего образования / Разработано в Институте информатизации образования РАО под науч. рук. Роберт И. В. // Информатика и образование. 2000. ¹ 4, 5, 7; 2001. ¹ 1. 114 Современные средства оценивания результатов обучения 15. Программы для общеобразовательных учреждений: 2–11 кл. Информатика / 2-е издание, исправленное и дополненное. М.: Бином. Лаборатория знаний, 2005. 16. Построение тестовых заданий по инСамылкина Н. Н. форматике: Методическое пособие. М.: Бином, 2003. 17. Краткий обзор инновационных технологий в Скэттон Л. оценке образовательных достижений, используемых в ETS // Развитие национальной системы экзаменов: опыт России, СНГ и США: Материалы и тезисы докладов Международной конференции. М., 2003. 18. Татур А. О. Банк тестовых заданий // Развитие национальной системы экзаменов: опыт России, СНГ и США: Материалы и тезисы докладов Международной конференции. М., 2003. 19. Требования к знаниям и умениям школьников. Дидактикометодический анализ / Под ред. А. А. Кузнецова. М.,1987. 20. Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос, 2002. 21. Болотов В. А. Тезисы доклада на межрегиональном семинаре по ОСОКО (2004 год). 2794633475-11 Дополнительная литература Ниже перечислены издания, отражающие содержание информатики и предназначенные для разработки тестовых заданий по предмету. 22. Систематический курс: Бешенков С. А., Ракитина Е. А. 10 класс. М.: Лаборатория Базовых Знаний, 2001. 23. Информатика: 6–7 кл. / Под ред. Н. В. Макаровой. СПб., 2000. 24. Информатика: 7–8 кл. / Под ред. Н. В. Макаровой. СПб., 2000. 25. Информатика: 9 кл. / Под ред. Н. В. Макаровой. СПб., 2000. 26. Информатика: Задачник-практикум: В 2-х тт. / Под ред. И. Г. Семакина, Е. К. Хеннера. М.: Лаборатория Базовых Знаний, 1999. 27. Крылов С. С., Лещинер В. Р., Супрун П. Г., Якушкин П. А. Учебно-тренировочные материалы для подготовки к единому государственному экзамену. Информатика / Под ред. В. Р. Лещинера. М.: Интеллект-Центр, 2005. 28. Лапчик М. П. и др. Методика преподавания информатики. М.: Академия, 2001. ПРИЛОЖЕНИЕ 1. КОДИФИКАТОР ЭЛЕМЕНТОВ СОДЕРЖАНИЯ ПО ИНФОРМАТИКЕ ДЛЯ СОСТАВЛЕНИЯ КОНТРОЛЬНЫХ ИЗМЕРИТЕЛЬНЫХ МАТЕРИАЛОВ (КИМ) ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА Кодификатор (табл. 15) составлен на базе обязательного минимума содержания среднего (полного) и основного общего образования (приложения к приказам Минобразования РФ ¹ 1236 от 19.05.98 и ¹ 56 от 30.06.99). В связи с принятием федерального компонента стандарта среднего (полного) общего образования по информатике и ИКТ (утвержден приказом Минобразования РФ ¹ 1089 от 5 марта 2004 г.) данный кодификатор носит временный характер и в 2007 г. будет заменен на новый, основанный на федеральном компоненте стандарта. В кодификаторе каждый контролируемый элемент содержания имеет свой порядковый номер. Жирным шрифтом указаны крупные блоки содержания, которые далее разбиты на более 2794633475-11 мелкие элементы. Каждому заданию необходимо присвоить номер того элемента содержания в кодификаторе, на проверку которого прежде всего оно нацелено. Если задание проверяет содержание всего крупного блока, то указывается сокращенный номер элемента. Таблица 15 Код Код контроЭлементы содержания, проверяемые заданиями КИМ блока лируемого элемента 1 ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ И СИСТЕМЫ 1.1 Информация и ее кодирование 1.1.1 Различные подходы к определению понятия «информация». Виды информационных процессов. Информационный аспект в деятельности человека; информационное взаимодействие в простейших социальных, биологических и технических системах 1.1.2 Язык как способ представления и передачи информации 1.1.3 Методы измерения количества информации: вероятностный и алфавитный Приложение 1 117 Код Код контроЭлементы содержания, проверяемые заданиями КИМ блока лируемого элемента 1.1.4 Единицы измерения количества информации. Числовые параметры информационных объектов и процессов: объем памяти, необходимый для хранения информации, скорость обработки информации 1.1.5 Язык как способ представления информации. Процесс передачи информации. Виды и свойства источников и приемников информации. Сигнал, кодирование и декодирование, причины искажения информации при передаче 1.1.6 Скорость передачи информации и пропускная способность канала связи 1.1.7 Представление числовой информации. Сложение и умножение в разных системах счисления 1.1.8 Кодирование текстовой информации. Кодировка ASCII. Основные используемые кодировки кириллицы 1.2 Алгоритмизация и программирование 1.2.1 Алгоритмы, виды алгоритмов, описания алгоритмов. Формальное исполнение 2794633475-11 алгоритма 1.2.2 Использование основных алгоритмических конструкций: следование, ветвление, цикл 1.2.3 Использование переменных. Объявление переменной (тип, имя, значение). Локальные и глобальные переменные 1.2.4 Работа с массивами (заполнение, считывание, поиск, сортировка и другие массовые операции) 1.2.5 Структурирование задачи при ее решении для использования вспомогательного алгоритма. Вспомогательные алгоритмы: функции и процедуры 1.3 Основы логики 1.3.1 Алгебра логики 1.3.2 Логические выражения и их преобразование 1.3.3 Построение таблиц истинности логических выражений 1.4 Моделирование и компьютерный эксперимент 1.4.1 Общая структура деятельности по созданию компьютерных моделей 1.4.2 Представление и считывание данных в разных типах информационных моделей (схемы, карты, таблицы, графики и формулы) ПРИЛОЖЕНИЕ 2. СПЕЦИФИКАЦИЯ ЭКЗАМЕНАЦИОННОЙ РАБОТЫ ПО ИНФОРМАТИКЕ ДЛЯ ВЫПУСКНИКОВ XI (XII) КЛАССОВ ОБЩЕОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ (2005 г.) 1. Назначение экзаменационной работы — оценить общеобразовательную подготовку по информатике выпускников XI (XII) классов общеобразовательных учреждений с целью зачисления в ссузы и вузы. 2. Содержание экзаменационной работы определяется на основе следующих документов: l «Об утверждении обязательного минимума содержания среднего (полного) общего образования по информатике» (приказ Министерства образования Российской Федерации ¹ 56 от 30.06.99); «О преподавании курса информатики в общеобразоваl школе в 2000/2001 учебном году» (письмо Министерства образования Российской Федерации ¹ 571/11–13 от 11 апреля 2000 г.); «Об оценке качества подготовки выпускников основной l школы. Информатика» (письмо Департамента общего среднего образования Министерства образования Российской Федерации ¹ 795/11–13 от 31 мая 2000 г.); «Об утверждении федерального компонента государстl образовательных стандартов начального общего, основного общего и среднего (полного) общего образования» (приказ Министерства образования Российской Федерации ¹ 1089 от 05 марта 2004 г.); Об экспериментальном преподавании курса информатиl и информационных технологий в 2001/2002 учебном году // Информатика и образование. 2001. ¹ 6. С. 2–15; Оценка качества подготовки выпускников основной l школы по информатике. М.: Дрофа, 2000; Кодификатор элементов содержания по информатике l для составления контрольно-измерительных материалов (КИМ) единого государственного экзамена 2003 г. (утвержден Министерством образования Российской Федерации в ноябре 2002 г.). Приложение 2 123 Содержание экзаменационной работы рассчитано на выпускников XI (XII) классов общеобразовательных учреждений, изучавших курс информатики, отвечающий обязательному минимуму содержания среднего (полного) общего образования по информатике, по учебникам и учебно-методическим комплектам к ним, имеющим гриф Министерства образования Российской Федерации. 3. Структура экзаменационной работы. Экзаменационная работа состоит из трех частей. Часть 1 (А) содержит 24 задания базового и повышенного уровней сложности. В этой части собраны задания с выбором ответа (ВО), подразумевающие выбор одного правильного ответа из четырех предложенных. Задания выполняются на черновике, а ответы заносятся в специальный бланк для ответов части «А». Часть 2 (В) содержит 8 заданий базового, повышенного и высокого уровней сложности. В этой части собраны задания с краткой формой ответа (КО), подразумевающие самостоятельное формулирование и ввод ответа в виде последовательности 2794633475-11 символов. Задания выполняются на черновике, а ответы заносятся в специальный бланк для ответов части «В». Часть 3 (С) содержит 5 заданий, одно из которых — базового уровня сложности, два задания — повышенного уровня сложности и два — высокого уровня сложности. Задания этой части подразумевают запись в произвольной форме развернутого ответа (РО) на специальном бланке. В 2005 г. проведение экзамена по информатике осуществлялось в бескомпьютерном варианте. Для выполнения любого из заданий экзаменационной работы не требовалось никакого дополнительного оборудования или программного обеспечения. Использование калькуляторов на экзамене по информатике запрещается. заданий разработано по основным темам курса информатики и информационных технологий, объединенным в следующие тематические блоки: «Информация и ее кодирование», «Алгоритмизация и программирование», «Основы логики», «Моделирование и компьютерный эксперимент», «Основные устройства информационных и коммуникационных технологий», «Программные средства информационных и коммуникационных технологий», «Технология обработки графической и звуковой ПРИЛОЖЕНИЕ 3. ЕДИНЫЙ ГОСУДАРСТВЕННЫЙ ЭКЗАМЕН ПО ИНФОРМАТИКЕ. ДЕМОНСТРАЦИОННЫЙ ВАРИАНТ 2005 г. Инструкция по выполнению работы На выполнение экзаменационной работы по информатике отводится 4 часа (240 минут). Экзаменационная работа состоит из трех частей, включающих в себя 37 заданий. На выполнение частей 1 и 2 рекомендуется отводить 1,5 часа (90 минут). На выполнение заданий части 3 рекомендуется отводить 2,5 часа (150 минут). Часть 1 включает в себя 24 задания с выбором ответа. К каждому заданию дается четыре варианта ответа, из которых толь- ко один правильный. Ответы на задания части 1 записываются 2794633475-11 на бланке ¹ 1. Часть 2 состоит из 8 заданий с кратким ответом (к этим заданиям вы должны самостоятельно сформулировать и записать ответ). Ответы на задания части 2 записываются на бланке ¹ 1. Часть 3 состоит из 5 заданий. Для их выполнения необходимо написать развернутый ответ в произвольной форме на бланке ¹ 2. Выполняйте задания в том порядке, в котором они даны. Если какое-либо задание вызывает у вас затруднение, пропустите его и постарайтесь выполнить задания, в ответах на которые вы уверены. К пропущенным заданиям можно будет вернуться, если останется время. За каждый правильный ответ, в зависимости от сложности задания, дается один или более баллов. Баллы, полученные за все выполненные задания, суммируются. Постарайтесь выполнить как можно больше заданий и набрать как можно больше баллов. Желаем успеха! Приложение 3 139 В экзаменационных заданиях используются следующие соглашения. Обозначения для логических связок (операций): отрицание (инверсия, логическое НЕ) — обозначается l Ø знаком «Ø» (например: А); конъюнкция (логическое умножение, логическое И) — l Ù обозначается знаком «Ù» (например: А В), либо «&» (например: А & В); (логическое сложение, логическое ИЛИ) — l дизъюнкция Ú обозначается знаком «Ú» (например: А В), либо «|» (например: А | В); следование (импликация) — обозначается знаком «->» l (например: А -> В); символ «1» используется для обозначения истины (исl высказывания); символ «0» — для обозначения Два логических выражения, содержащих переменные, называются равносильными (эквивалентными), если значе2794633475-11 этих выражений совпадают при любых значениях Ú переменных. Так, выражения А -> В и (Ø А) В равносильÚ Ù ны, а А В и А В — не равносильны (значения этих выражений различны, например, при А = 1, В = 0). 3. Приоритеты логических операций (по убыванию): инверсия (отрицание), l конъюнкция (логическое умножение), l l дизъюнкция (логическое сложение), импликация (следование), l эквивалентность (равносильность). l Ù Ú Ù Ù Ú Таким образом, запись А В С D совпадает с (( А) В) Ú Ù Ù Ù Ù Ù (С D). Возможна запись А В С вместо (А В) С. То же Ú Ú относится и к дизъюнкции: возможна запись А В С вместо Ú Ú (А В) С. ПРИЛОЖЕНИЕ 4. СИСТЕМА ОЦЕНИВАНИЯ ЗАДАНИЙ С РАЗВЕРНУТЫМ ОТВЕТОМ Основные подходы к разработке контрольно-измерительных материалов ЕГЭ по информатике Проблема разработки контрольных измерительных материалов и технологии их использования является одной из ведущих в рамках эксперимента по введению Единого государственного экзамена. К контрольным измерительным материалам относят: проверочные задания различных типов; l варианты экзаменационной работы; l критерии оценивания заданий. l 2794633475-11 Эти материалы должны обеспечить возможность анализа, насколько выпускники — участники ЕГЭ по информатике — овладели знаниями и умениями, зафиксированными в «Обязательном минимуме содержания среднего (полного) общего образования по информатике» (приказ Министерства образования РФ ¹ 56 от 30.06.99 г.), и в какой степени они достигли уровня обученности, предусмотренного требованиями к общеобразовательной подготовке по данному предмету. Отбор содержания, подлежащего проверке в экзаменационных работах ЕГЭ, осуществляется на основе обязательного минимума содержания обучения информатике для средних общеобразовательных учреждений. В связи с тем что в 2004 и 2005 гг. проведение ЕГЭ по информатике осуществляется в экспериментальном порядке, содержание заданий экзаменационной работы отражает не все разделы курса информатики, предусмотренные Кодификатором элементов содержания по информатике для составления контрольно-измерительных материалов. При подготовке ЕГЭ по информатике в последующие годы планируется совершенствование содержания Кодификатора и обеспечение полноты покрытия предусмотренных в нем разделов курса информатики заданиями экзаменационной работы. Приложение 4 159 В содержание заданий первой части КИМ вошел теоретический материал (пропорционально тому его объему, который представлен в обязательном минимуме), наиболее важные вопросы информатики, которые необходимо освоить на разных уровнях. На уровне представлений проверяется относительно новый материал курса информатики, который в разном объеме представлен в учебниках. Это понятия: о существующих методах измерения информации; l о моделировании как методе научного познания. l проверяется фундаментальНа уровне воспроизведения знаний ный теоретический материал, такой как: единицы измерения информации; l принципы кодирования; l системы счисления; l понятие алгоритма, его свойств, способов записи; l основные алгоритмические конструкции; l основные элементы программирования; l l основные элементы математической логики; архитектура компьютера; l 2794633475-11 программное обеспечение; l основные понятия, используемые в информационных и l коммуникационных технологиях. Материал на проверку сформированности умений применять свои знания в различных ситуациях входит во все части экзаменационной работы. Это умения: подсчитывать информационный объем сообщения; l осуществлять перевод из одной системы счисления в друl арифметические действия в двоичной, восьl и шестнадцатеричной системах счисления; использовать стандартные алгоритмические конструкции l при программировании; l строить и преобразовывать логические выражения; строить для логической функции таблицу истинности и l логическую схему; использовать необходимое программное обеспечение при l решении задачи; l реализовывать сложный алгоритм с использованием современных систем программирования.