Проверочные задания для онлайн-курсов

Говоря о процедурах проверки знаний, прежде всего стоит разделить итоговое и формирующее оценивание. Они отличаются не столько по форме, сколько по задачам, которые помогают решить. Итоговое тестирование мы можем сопоставить с экзаменом, а формирующее — аналог небольшой контрольной работы во время семинара или лекции.

Задания формирующего оценивания не являются обязательными, не влияют на экзаменационный итоговый балл. Тем не менее, важно включать их в свои курсы, так как только с их помощью преподаватель сможет определить, какой материал не до конца усвоили слушатели. На современных площадках для формирующего оценивания доступен формат in-video quizzes (тест внутри видео). Как правило, это короткие несложные тесты на 20-30 секунд, которые помогают удерживать внимание слушателя. Еще один инструмент формирующего оценивания — обратная связь, то есть объяснение, почему ответ студента является верным или неверным. Наличие фидбэка позволяет достичь основной цели: усвоить и теоретическую базу, и практические навыки, которые потребуются в работе. Слушатель просто не сможет, например, научиться программировать или изучить тонкости академического письма без должного объема практики.

К стандартным форматам заданий в МООК относятся задания с множественным выбором ответа, задания на установление последовательности или соответствия, задания с фиксированным вводом ответа, задания типа peer review и задания по программированию.

Задание с множественным выбором ответа

Такие задания включают в себя непосредственно вопрос и несколько вариантов ответа, из которых слушателю нужно выбрать правильный. Этот формат хорошо знаком большинству людей и подойдет для автоматической проверки больших объемов знаний. Но есть и свои сложности: подготовка дистракторов (правдоподобных неправильных ответов) достаточно трудоемкий процесс, а также нельзя исключать, что слушатель просто угадает правильный ответ. По этим причинам данный формат подойдет на тех участках онлайн-курса, где важно проверить знания на общем уровне.

             Пример

Какой диапазон трудности наиболее приемлем для курса “Физика на каждом шагу”?

а. От нуля до 0.1
б. От 0.1 до 0.3
в. От 0.3 до 0.7
г. От 0.7 до 0.9
д. Более 0.9

Ответ: в, г.

 

Задания с фиксированным ответом

В этом типе заданий ответ нельзя угадать, и они дают возможность более глубоко проверить результаты обучения. Чаще всего мы применяем этот формат в курсах с широким использованием математики, где в качестве ответа используется число. Например, мы не будем спрашивать, чему равен квадрат гипотенузы в формате задания с множественным выбором ответа, ведь помнит ли слушатель теорему Пифагора наизусть, для нас не главное. Мы включаем в тест задание с фиксированным ответом, например: длина катета a равна 3 м, длина катета b - 4 м. Чему равна длина гипотенузы? Слушатель должен понять, что дано в задаче, и вычислить неизвестное. Так мы проверяем, понимает ли он, как применить теорему на практике.

             Пример

Давление 1 моля идеального газа равно 1 атм. Чему равна температура этого газа в системе СИ, если он занимает объем, равный 1000 см³? (ответ введите с точностью до целых, например, 5)

Ответ: 12

Задания на установление последовательности или соответствия

Составляя задания такого типа, важно учитывать, что вместе с ним мы должны дать слушателю максимально понятные инструкции по его выполнению. Например, на каком основании должно устанавливаться соответствие, может ли один ответ использоваться дважды и так далее. Оба формата могут участвовать в оценке знаний в самых разных областях, знакомы слушателям и помогают проверить большие объемы знаний. Но у них есть и недостатки: довольно трудно подобрать однородные списки для задач на соответствие, а задания на установление последовательности стимулируют исключительно процесс запоминания фактов.

Пример в форме задания с фиксированным ответом

Расставьте в правильной последовательности работы по моделированию в рамках проекта по ML (ответ введите в виде последовательности чисел без пробелов, например 1234).

1 – интервью с лицом, принимающим решения
2 - определение источников данных
3 - построение гипотезы
4 - тестирование на информационную безопасность

Ответ: 1324

Задания peer review (задание с рецензированием)

Формат peer review относительно прост в составлении. Мы ставим перед слушателем задачу и даем инструкции по ее выполнению. Чаще всего, в качестве ответа нужно предоставить текст с описанием хода работ, фото или план. Этот ответ по определенным критериям (рубрикам) проверяют сокурсники испытуемого. Рeer review позволяет оценить глобальные умения: составление бизнес-плана, съемка пейзажа или планирование научного эксперимента, поэтому чаще всего формат используется в итоговых работах. Стимулировать взаимную оценку мы можем вполне конкретными условиями: собственный балл можно узнать только после проверки нескольких работ сокурсников. Проблему доверия к оценке решаем целым рядом практик: приведение примера эталонного ответа и четкие рубрики, иногда с количественными критериями.

              Пример

Формулировка. Составьте краткое описание технологии в виде текста в соответствии с шаблоном, прикрепленном к заданию.

Инструкция. Ваше краткое описание должно позволить ответить на пять основных вопросов, обсуждаемых в видео “Краткое описание технологии” и содержать все поля шаблона, кроме контактных данных. Отделяйте каждое поле шаблона пустой строкой.

Если у вас нет собственной технологии, с которой вы бы могли выполнить данное задание, то возьмите какую-либо недавно запатентованную технологию из вашей профессиональной сферы и выполните задание для неё.

Тип ответа – текстовый файл в формате Word, содержащий заполненный шаблон.

Рубрики 

В кратком описании технологии пункт “Название”:	(0) отсутствует (1) название есть, но оно не информативное (2) название информативное
В кратком описании технологии пункт “Ключевые слова”:	(0) отсутствует (1) Ключевые слова присутствуют, но недостаточно специфичны (поиск информации по ним в интернете выдает много нерелевантных результатов) (2) Ключевые слова достаточно точно описывают технологию и их можно использовать для поиска информации по этой технологии в интернете
В кратком описании технологии пункт “Назначение и ожидаемый рынок”:	(0) отсутствует (1) из данного поля не до конца ясно, насколько предлагаемая технология будет покупаться на рынке и сколько там можно заработать (2) Из этого поля ясно, какие проблемы на рынке собирается решить автор краткого описания технологии, какие есть ожидания относительно размера этого рынка, насколько технология будет покупаться и сколько можно будет заработать
В кратком описании технологии пункт “Основные принципы и технологии”:	(0) отсутствует или в нем не раскрывается, как именно будет реализовываться тот или иной принцип (1) Принципы и технологии описаны недостаточно четко или подробно, использован сложный, профессиональный жаргон. Детали реализации не разглашаются. (2) принципы сообщаются, они понятны и ясны, но не раскрывается, как они будут реализованы
В кратком описании технологии пункт “Конкурентные преимущества”:	(0) отсутствует (1) Конкурентные преимущества указаны, но нет сравнения с конкретными конкурентами. (2) Указаны конкурентные решения и освещены преимущества предлагаемой новой технологии.
В кратком описании технологии пункт “Защита интеллектуальной собственности”:	(0) отсутствует (Не указано, какие у авторов технологии права на те технические решения, которые входят в состав технологии) (1) Указаны права на использование преимуществ (технических решений) новой технологии.

Пояснение. Слушатель в данном задании должен последовательно заполнить ряд полей в шаблоне, который прикладывается к заданию (word документ). Смысл отдельных полей шаблона разбирается в видео курса. Умение заполнять такой шаблон важно в рамках курса, так как похожим образом описывают технологию авторы курса в своей профессиональной практике.

 

Задания для программирования

Такие задания используются только в курсах по программированию. Они состоят из формулировки задания и инструкции. В качестве ответа слушатель приводит код программы, который проверяется автоматически. Этот формат повышает мотивацию студентов, так как развивает прикладные навыки.

                  Пример

Формулировка. Дано два натуральных числа A и B, не превышающих 1000000. Напишите программу, которая вычисляет целую часть частного от деления A на B.

Если B = 0, выведите "Impossible".

Инструкция. Примеры ожидаемого вывода программы в зависимости от вводимых чисел:

Input	Output
5 2	2
2 5	0
10 0	Impossible

 

 Верификация

Даже самые лучшие тесты не покажут реальный уровень знаний, если студент будет пользоваться посторонней помощью во время проверки. Чтобы подтвердить личность и честность экзаменуемого, организаторы обучения подключают к платформе системы онлайн-прокторинга. Через доступ к вебкамере, микрофону, рабочему столу пользователя можно проверять соблюдение регламента. Таких систем достаточно много, в России это Экзамус и система ProctorEdu, за рубежом — ProctorU, Mettl Online Assessment, ProctorExam, Pearson VUE. Стоимость сертификатов в некоторых областях знаний достаточно высока, поэтому использование прокторов не только повышает валидность результатов тестов, но и может быть рентабельным.

Онлайн-образование становится все более популярным, оно более доступно и финансово и географически позволяет изучать материал в своем темпе в удобное время. Рынок дистанционных образовательных программ постепенно заполняется, конкуренция растет, становится важным качество продукта, в том числе работа над тем, чтобы слушатели полностью усвоили материал. Процедуры оценки становятся не только итоговыми, но и формирующими, дающими практические навыки в выбранной области. Грамотно составленные вопросы онлайн-тестирования и налаженная система прокторинга вполне могут конкурировать с очным экзаменом или контрольной работой. Образовательная система достаточно консервативна, но сегодняшние тенденции свидетельствуют, что онлайн-формат продолжит стремительно развиваться и в некоторых областях сможет даже полностью заменить оффлайн.