Составление заданий с рецензированием
Что такое рецензирование
Рецензирование — проверка заданий вручную по заданным критериям оценки. Обычно проверяются эссе, написанные в свободной форме, или задачи на программирование, которые невозможно проверять автоматически. Рецензирование не является отдельным типом шага, а добавляется к любой существующей задаче. Наиболее популярные типы задач для рецензирования:
- Свободный ответ (творческие эссе, доказательства теорем и т.п.);
- Задачи на программирование (code review с предварительной формальной проверкой).
Чтобы добавить рецензирование, необходимо выбрать один из этих вариантов задач и нажать "Добавить рецензирование" (в "Настройках шага"):
После добавления рецензирования внизу настроек практического шага появится раздел "Правила рецензирования": 
Как только вы получите хотя бы один ответ на рецензию, изменить можно будет только поля "Дополнительная информация" и поле описания "Критерий оценки", но не вид рецензирования, количество максимальных баллов по критериям и число обязательных рецензий.
Также обратите внимание, что шаг с рецензированием нельзя скачать и затем импортировать в другой шаг с сохранением всех прописанных условий.
Виды рецензирования
Рецензирование может проводиться самим преподавателем (преподаватель проверяет каждую работу и ставит оценку за неё) или другими учащимися курса (кросс-рецензирование).
Рецензирование преподавателем
- Преподаватель может перейти к рецензированию со страницы задания. Чтобы приступить к проверке ответов, нужно нажать на кнопку "Рецензировать":
- На странице сессии рецензирования отображена информация об учащемся, условие задачи, решение учащегося и критерии оценки. Преподаватель может выставить балл, объяснить оценку и оставить общий комментарий. После того как рецензия будет отправлена, откроется следующая;
- К списку всех решений можно перейти по ссылке "Решения" в шаге задания или из вкладки "Проверка решений", где есть список всех шагов с непроверенными решениями:
Кросс-рецензирование
Схема работы кросс-рецензирования следующая:
- Учащийся решает задание (пишет эссе) и сохраняет его в систему;
- Учащийся посылает решение на рецензирование;
- Другие учащиеся проверяют его решение по заданным критериям;
- Учащийся проверяет 3 чужих решения по заданным критериям;
- Учащийся получает оценку (равную медиане от 3-х полученных им рецензий).
Правила выставления баллов и получения оценок:
- Преподаватель указывает число баллов, которые можно получить за весь шаг;
- Преподаватель устанавливает баллы по каждому заданному критерию;
- Учащийся получает оценку по критериям равную медиане от трех полученных рецензий. Если получено много рецензий, берётся медиана от первых трёх (если три — это указанное обязательное количество рецензий);
- Учащийся получает итоговую оценку за весь шаг, которая рассчитывается в процентном соотношении от максимального количества баллов за шаг.
Пример. Есть шаг с рецензированием, где общий балл = 2, но сумма баллов за все критерии = 10. Если студент получает три рецензии, где его оценили на 6, 7 и 8, то сначала он получает оценку за эссе равную 7 (медиана чисел 6, 7, 8), что составляет 70% от максимальных 10 баллов за критерии. Итоговая оценка за шаг будет равна 70% от 2, т.е. 1,4.
Возможные проблемы с рецензированием
В процессе рецензирования учащиеся сообщают о таких проблемах:
- Проблемы технические и зависят от платформы: не видно ответ, не получается нажать на кнопку и т.д. При таких проблемах отправьте нам запрос через форму обратной связи.
- Проблемы по содержанию рецензий: не нравится оценка, учащимся кажется, что их несправедливо оценили, плагиат и т.д. Эти вопросы можете решать только Вы, так как только Вы знаете содержание правильного ответа и как можно оценить ответ. Вы можете посмотреть все ответы, все рецензии и, если считаете нужным, исправить оценку.
- Иногда учащиеся забывают прикрепить ответ, прикрепляют не в том формате и его невозможно открыть, отправляют не тот ответ, хотят переделать ответ. Такие проблемы решить нельзя, ни вы, ни мы не можем удалить какое-то решение и отправить другое решение.
- Рецензия учащегося, который в дальнейшем стал администратором или преподавателем курса, не может быть проверена и оценена.
Обратите внимание, что рецензирование с проверкой только преподавателями доступно для платных курсов. Для бесплатных курсов доступно только кросс-рецензирование.