Проверка агентом

Сданную работу первым смотрит агент: идёт по критериям работы и по каждому решает, закрыт он или нет. Агент проверяет, а решает человек: принята работа или нет, говорят на приёмке.

Где смотреть

На странице работы, в меню «Мои работы». Блок «Что сказал агент»: по каждому критерию вашей роли закрыт он или нет, почему, и место в работе, на которое агент опирается: строки файла, коммит, абзац документа, ячейка таблицы, вывод команды, картинка или её область, «искали — не нашли». Под каждой цитатой — одной фразой, почему агент на неё опирается; «открыть ↗» ведёт к ней в репозитории на том коммите, который он проверял. Если вы доработали после проверки и процитированное поменялось, у цитаты пометка «с тех пор изменилось» и ссылка «как сейчас». Ниже «Что будет проверяться», где под спойлером «Критерии других ролей» видны критерии остальных участников команды.

Страница работы у студентки с ролью «Продукт»: критерий закрыт, агент сослался на строку в брифе.

Вопросов, которые агент готовит к приёмке, и того, что в ответе должно прозвучать, вы не видите: они для проверяющего.

Что агент пишет в PR

Если работа сдаётся через PR на GitHub, агент оставляет в нём комментарий и отметку проверки «Автопроверка»:

• сколько критериев закрыто из скольких;
• «Что поправить»: открытые критерии, по одной фразе, с файлом;
• ссылку на подробности на платформе.

Комментарий один и обновляется после каждой проверки, а не множится. Отметка «Автопроверка» зелёная, когда всё закрыто, и просит действия, когда есть что поправить. К открытым критериям с точной строкой агент ставит пометки прямо в коде.

На других хостингах то же, с поправкой на то, что они умеют:

• GitLab — отметка «Автопроверка» как статус коммита в MR, а пометки — комментариями у строк;
• GitVerse и SourceCraft — отметки нет, есть комментарий и пометки комментариями у строк.

Комментарии у строк ставятся один раз на коммит: повторная проверка того же коммита их не дублирует.

CI

Агент читает итоги CI на коммите сдачи. Красный прогон он видит. Если итоги CI не прочитались — например, на GitVerse, где их нельзя получить снаружи, — агент не считает это провалом: критерий про успешный прогон тогда «не уверен», и его разберёт человек на приёмке.

Список литературы

Если в работе есть критерий о литературе, агент проверяет каждую запись списка не на слух, а по базам: DOI — в Crossref и реестре doi.org, препринты — в arXiv, запись без идентификатора — по названию и описанию. Список удобнее всего сдавать файлом .bib — его выгружает Zotero, JabRef или Overleaf; без него агент разберёт список прямо из документа.

У каждой записи — пометка:

• найдено — источник есть в базе, авторы, год и название совпадают;
• найдено, но расходится — источник есть, но в списке у него другие авторы, год или название;
• идентификатор не существует — такого DOI или номера arXiv нет в реестре: запись собрана с ошибкой или выдумана;
• не найдено — ни в одной базе нет. Это вопрос на приёмке, а не провал: у русских статей, книг и стандартов DOI бывает не всегда;
• найдено только в сети — в базах нет, но поиск нашёл страницу с таким названием; та ли это работа, решает проверяющий;
• не проверено — база не ответила, проверки не было.

Если в тексте есть ссылки (\cite в LaTeX, [@ключ] в markdown), агент сверяет их со списком: ссылки без записи и записи без ссылки он перечислит.

Доработать и перепроверить

Дорабатывайте в том же PR: дата первой сдачи при этом не меняется. Потом нажмите «Перепроверить». Под проверкой — история: каждый прогон с коммитом и итогом, а по раскрытию — что изменилось против прошлого. Сколько перепроверок осталось, видно на кнопке, их число задаёт поток. В поле рядом можно подсказать агенту, где смотреть: «метрику пересчитали, отчёт в eval/report.md». Когда перепроверки кончатся, остальное разберут на приёмке.

Если проверка не закончилась

Одна проверка идёт не дольше 45 минут. Не уложилась — она останавливается, а песочница с вашей работой удаляется; платформа повторит проверку, а если и повтор не удастся, напишет об этом в PR. Обычно проверка занимает от пяти до пятнадцати минут.

Сдали не тот PR

Пока агент не начал разбирать работу — проверка ждёт очереди или он только взял её, — на странице работы есть «Отозвать сдачу». PR освободится, работу можно сдать заново, попытка не потратится. Когда агент уже читает репозиторий, отозвать сдачу может только организатор курса: напишите ему.

Если агент ошибся

Подсказка при перепроверке — не спор с вердиктом, а указание, где лежит то, что агент не нашёл. Если вы не согласны с вердиктом, скажите это на приёмке. Вердикт агента не решение: работу принимает проверяющий, и он видит, где агент ошибся. Он может отметить «Агент ошибся», и это идёт на настройку агента.