Работы и критерии
Как завести работу, что сдают и как оценивают, как написать критерий, чтобы агент проверил его по работе, а на приёмке прозвучал правильный вопрос.
Работа — то, что сдают: бриф, модель, сервис, отчёт. Критерии — что должно быть в работе. По критериям агент проверяет сдачу, из них же собирается повестка приёмки.
Завести работу
На экране курса — «+ Работа N». Платформа предложит, с чего начать:
- «Как работа N» — те же настройки, что у предыдущей, без критериев;
- заготовки: «Проектная работа с ролями», «Командный проект, одна сдача», «Ментор принимает зачётом», «Программирование на тестах», «Письменная проверка по PR», «Устная защита, коллоквиум»;
- «Пустая» — PR, каждый свой, баллы, по критериям.
Всё потом меняется в карточке работы.
Карточка работы
Сверху — название, зачем эта работа (одной фразой) и что сделать. Длинное задание — ссылкой: «Ещё ▾» → «Где лежит задание».
| варианты | |
|---|---|
| Что сдают | Pull request · Коммит · Файл · Ссылку · Ничего — только защита |
| Кто сдаёт | Каждый свою часть · Одна работа на команду — появляется, когда в курсе есть роли |
| Как оцениваем | Баллами (до N) · Зачёт — не зачёт: «принять» и «с долгом» — зачёт |
| По чему проверяем | По критериям — из них собирается повестка приёмки · По описанию результата — работу оценят целиком на приёмке |
| Как проверяем | Приёмка — разговор с командой · Письменно — проверяющий читает работу и пишет комментарий |
В «Ещё ▾»:
- «Обязательна для допуска» — без неё итога нет;
- «Порог зачёта, %» — пусто: работа зачтена, если приёмка её приняла;
- недели курса, где работа идёт;
- «Карточка приёмки» — заметка, которую видит только ведущий приёмку;
- варианты задания — у всех вариантов общие критерии, иначе это разные работы.
Справа — превью: вкладка «Участник» показывает, как работу увидит студент (как сдавать, оценка, критерии по ролям), вкладка «Проверяющий» — повестку приёмки.
Внизу — «Сохранить в черновик». Участники увидят правки после публикации версии.
Критерии
Критерий — что должно быть в работе. Пишите «что», а не «сколько»: «описана метрика успеха и способ её подсчёта», а не «не меньше трёх метрик».
У критерия:
- текст — его видит студент;
- к кому — каждый участник, вся команда или роль. По умолчанию — тот, кто сдаёт работу;
- проверка — как агент проверит критерий, см. ниже;
- вес — от 0 до 100: насколько критерий важнее остальных.
Как проверяется критерий
| проверка | что заполнить | когда брать |
|---|---|---|
| Оценит модель | что искать в работе, признак хорошего, признак слабого | суть, качество, обоснование — большинство критериев |
| Артефакт есть | что должно быть — по смыслу, без пути к файлу | достаточно, чтобы вещь была: схема, отчёт, датасет |
| Структура и счёт | что посчитать и верхняя граница | «не больше одной страницы», «до десяти минут» |
| Команда или тесты | команда, например pytest -q, и ожидание: проходит или вывод совпадает | код проверяется запуском |
| Прод отвечает | — | сервис команды живёт на публичном адресе |
| Проверит человек | как проверить | агенту не по силам: вкус, устная часть, железо |
Пишите по смыслу, а не по месту: «описание метрики», а не «файл docs/metric.md». Агент найдёт артефакт сам, где бы студент его ни положил. Путь в критерии — повод для заметки при проверке курса.
«Признак слабого» важен не меньше хорошего: по нему агент отличает работу «для галочки» — общие слова, скопированный шаблон — от настоящей.
Для приёмки
Свёрнутый блок «Для приёмки» у критерия:
- что спросить — вопрос, который проверит понимание, а не наличие: «почему эта метрика, а не точность?»;
- что засчитываем за ответ — без этого вести приёмку по критерию может только автор;
- что настораживает — признак, что артефакт есть, а понимания нет;
- когда видит участник — сразу, после срока или только на приёмке.
Вопрос и «что засчитываем» студент не видит. На приёмке проверяющий получает их в повестке вместе с вердиктом агента и цитатой из работы.
Как критерий работает дальше
- Студент видит текст критерия на странице работы: что агент проверит по репозиторию, а что спросят на приёмке.
- Агент проверяет каждый критерий по сдаче и пишет вердикт — «закрыт» или «не закрыт» — с цитатой из работы: файл, строка, коммит.
- Проверяющий на приёмке задаёт вопросы по критериям, отмечает ответы и решает. Если он не согласен с агентом, отмечает «Закрыл зря» или «Не закрыл зря» — это попадёт к вам в сигналы и в счётчик споров у самого критерия.
Список литературы
Если в работе есть критерий о литературе, агент сверяет каждую запись с библиографическими базами и отмечает, что найдено, что расходится и чего нет. Лучше всего, если студенты сдают список файлом .bib. Чего нет в базах — не провал, а вопрос на приёмку: русские источники без DOI бывают.