Как проверять домашние задания, когда учеников больше, чем кураторов
Курс записан один раз, а каждую домашку кто-то читает руками. Агент разбирает работу по вашим критериям, ученик дорабатывает её сам, а куратор подключается к спорному и к выпускному проекту. Платформа школы остаётся прежней.
Вы добавили индекс на два поля. Почему порядок именно такой, и что будет с запросом только по второму полю?
- Засчитываем
- Объясняет порядок через частый запрос и говорит, что индекс тут не поможет.
- Не засчитываем
- Показывает план запроса, но не может сказать, почему он такой.
Я считаю проверку в вузе, у школы задача похожая, только каждая домашка ещё и оплачена куратору. На потоках платформы агент проверяет работу за 7–11 минут, это медиана.
Ниже калькулятор и данные про расхождение оценок. Одной рубрики мало, чтобы проверяющие оценивали одинаково.
Сергей Волчков, преподаю и делаю Disputa
Что известно про проверку и доходимость
α = 0,2
согласованность 28 проверяющих на 40 работах по Java при общей рубрике. Приемлемой считается 0,667. Авторы делают вывод, что проверяющих надо учить.
0,96 и 0,52
вероятность получить «эталонную» оценку на британских экзаменах: математика против английского языка и литературы. Чем свободнее ответ, тем сильнее разброс.
46 %
оплативших окончили курсы edX от Гарварда и MIT в 2017/18 году. Среди всех записавшихся таких 3,13 %. Сравнивать бесплатные и платные курсы по одной цифре нельзя.
d = 0,99
эффект содержательной обратной связи. У поощрения и наказания 0,24, а в среднем 0,48 по 435 исследованиям. При этом 17 % эффектов отрицательные.
Быстрее не всегда лучше. На 38 курсах немедленная и отложенная обратная связь по квизам дали разницу около нуля. Важнее, чтобы ученик мог применить отзыв к работе.
Сколько школы тратят на проверку, никто не публикует. Подставьте свои цифры в калькулятор ниже.
Сколько часов уходит на проверку одного потока
533 чкураторов на один поток
Как навести порядок в проверке
Посчитайте часы по заданиям
Возьмите табель и разложите время по домашкам. Начните с той, что отнимает больше всего часов, и посмотрите, какие замечания там повторяются из работы в работу.
Разделите, что читает человек
Форму, соответствие заданию и типовые ошибки может разобрать машина. Человеку оставьте спорное, застрявших учеников и выпускной проект.
Выровняйте кураторов
Рубрики не хватает: в исследовании из 22 проверяющих, не заметивших дубль работы, только один повторил свою оценку. Раз в поток дайте кураторам вслепую одни и те же пять работ и разберите расхождения вместе.
Пишите отзыв, с которым можно работать
В классическом метаанализе больше трети отзывов ухудшили результат. «Хорошо, но можно лучше» ученику ничего не даёт. Назовите место в работе и что с ним сделать, и лучше дать наводку, чем готовый ответ.
Поговорите на выпускном
Пятнадцать минут с куратором по вопросам к проекту покажут, понимает ли человек то, что сдал. Работодатель всё равно это спросит.
Если вы на Stepik
Внешняя проверка подключается шагом External grader. Условия из справки: курс платный, очередь просят у поддержки минимум за неделю. Без оценки за 30 минут Stepik отдаёт решение заново, поэтому очередь проверок к сроку надо считать заранее.
Памятка куратору: какой отзыв засчитываем
Можно положить в регламент как есть. Те же правила мы задаём агенту.
Отзыв указывает на место
- Засчитываем
- «В функции save нет проверки пустого email, строка 41».
- Не засчитываем
- «Обратите внимание на обработку ошибок».
Отзыв привязан к критерию
- Засчитываем
- Сказано, какой критерий задания не закрыт и почему.
- Не засчитываем
- Замечания по вкусу куратора, которых нет в задании.
Ученик знает следующий шаг
- Засчитываем
- Понятно, что проверить и где посмотреть.
- Не засчитываем
- Готовое исправление, которое остаётся скопировать.
Что берёт на себя Disputa
Рядом с вашей платформой
Подключается по API или LTI, ученики и курсы остаются у вас.
Шаг на Stepik
Проверка встраивается в платный курс шагом External grader.
Одни критерии на всех
Отзыв не зависит от того, какому куратору досталась работа.
Наводка вместо ответа
На выбор школы: разбор ошибок или подсказка, куда посмотреть.
Защита выпускного проекта
Вопросы к конкретным местам и короткий разговор с куратором.
Карточка выпускника
Подтверждённые навыки по ссылке, для портфолио и собеседования.
На каких данных это написано
Осень 2026: четыре потока в двух вузах, данные на 29 октября.
Что обычно спрашивают
Нужно переезжать с нашей платформы?
Нет. Ученики остаются у вас, работы и результаты передаются через API или LTI.
Подходит ли для курсов на Stepik?
Да, для платных курсов: проверка подключается шагом External grader, балл и отзыв возвращаются в Stepik.
Что с курсами не про код?
Подойдёт любой предмет, где ученик сдаёт работу и может её объяснить: математика, языки, экономика, гуманитарные курсы. Сдавать можно файлом или фото.
Заменит ли это кураторов?
Рутинную проверку да. Кураторы остаются там, где нужен разговор, и успевают больше учеников.
Сколько стоит?
Зависит от числа учеников и заданий. Напишите про ваш курс, пришлю расчёт.
Пришлите одну домашку, покажу разбор
Настоящую работу ученика и критерии, если они есть. Отвечаю в течение рабочего дня.
Обсудить школу