Сверка вердиктов: наш результат против вердикта Stepik по корпусу реальных отправок
Maintainers usually reply within 1 day
Nobody has claimed this yet.
Assessment
- Difficulty
- 4/5
- Estimated time
- 3-5 days
- Newbie friendliness
- 48/100
Research direction
Start by reading the implementation and tests for running the grader on stored submissions, and the history export described in issue #1055; the issue does not name specific files. Compare grader verdicts with Stepik's stored status, classify both mismatch types, count matches, and compare failed case numbers when hints include them. Verify that runs use STEPIK_GRADER_HISTORY_DB without changing normal training history; the real-data run is local, while comparison logic is checked with a synthetic corpus.
Written by the indexing model from the issue text.
Description
Часть эпика фазы L (#1053). Опирается на #1055 (выгрузка истории отправок).
Зачем
У каждой выгруженной отправки уже есть эталонный вердикт платформы — status (correct/wrong) и hint с номером упавшего кейса. Это готовая проверка: прогнать наш грейдер на том же коде и тех же тестах, сравнить с тем, что сказал Stepik.
Расхождение — находка, причём самого дорогого класса. Ровно так нашлась #940: наш грейдер принимал 12.3 там, где задача требовала 12.30, то есть был зеленее платформы ровно на той ошибке, ради которой его запускают.
Что сделать
- Прогон по корпусу: для каждой отправки — вердикт грейдера против вердикта Stepik.
- Отчёт по классам расхождений, а не общий процент:
- мы
AC, платформаwrong— ложное принятие, худший случай; - мы не-
AC, платформаcorrect— ложное отклонение, студент правит верное решение; - совпало — в сводку числом.
- мы
- Где платформа дала
hintс номером кейса — сверить и его: упал ли у нас тот же кейс. - Прогон пишет в отдельную базу (
STEPIK_GRADER_HISTORY_DB), рабочая история обучения не пачкается.
Чего этот прогон НЕ проверяет
Честная граница: сверка идёт на исторических данных и не покрывает путь отправки (attempt → submission → poll). Он проверяется только живой отправкой — см. эпик.
Границы
- Ни одной отправки на Stepik: только чтение выгруженного.
- Корпус и отчёт не коммитятся.
Проверка
Логика сравнения и классификация расхождений закрываются в облаке на синтетическом корпусе. Прогон по настоящей выгрузке — локальное окно.
- Dominant language
- Python
- Stars
- 3
- Forks
- 6
- Avg merge
- 2h 41m
- Merged PRs (30d)
- 48
Getting set up
- No Dockerfile or Docker Compose file
- Has a pull request template
- Read the contributing guide
First steps
- Read the whole issue, then the project's contributing guide.
- Comment on the issue to say you are picking it up — it saves two people doing the same work.
- Fork the repository and make your change on a branch.
- Open a pull request that references the issue number.
More from ArtVsMark/Stepik-Python-Grader
-
Difficulty 2/5 1-3 hours Newbie friendliness 48/100
ArtVsMark/Stepik-Python-Grader#1636 ·
Maintainers usually reply within 1 day
-
Difficulty 3/5 Half a day Newbie friendliness 35/100
ArtVsMark/Stepik-Python-Grader#1635 ·
Maintainers usually reply within 1 day
-
Difficulty 4/5 3-5 days Newbie friendliness 18/100
ArtVsMark/Stepik-Python-Grader#1634 ·
Maintainers usually reply within 1 day
-
Difficulty 3/5 1-2 days Newbie friendliness 32/100
ArtVsMark/Stepik-Python-Grader#1633 ·
Maintainers usually reply within 1 day
-
Каталог v1.12.0: Python 3.14 / 3.15 / 3.16 — 3.15 в основной CI, 3.16 в python-next, подъём действийOpen
Difficulty 3/5 1-2 days Newbie friendliness 30/100
ArtVsMark/Stepik-Python-Grader#1632 ·
Maintainers usually reply within 1 day
All issues in ArtVsMark/Stepik-Python-Grader
Similar issues
-
Difficulty 1/5 Under an hour Newbie friendliness 85/100
521xueweihan/HelloGitHub#4115 ·
-
get_lldp_neighbors_detail: query asks for 'max-address' (typo for 'mac-address'), so remote_chassis_id is always emptyPossibly taken @Jah-yee claimed this today. Open
Difficulty 1/5 Under an hour Newbie friendliness 88/100
-
lesson-submission pending-review
Difficulty 1/5 Under an hour Newbie friendliness 74/100
Ikalus1988/MisakaNet#3899 ·
Maintainers usually reply within 1 day
-
Difficulty 2/5 1-3 hours Newbie friendliness 68/100
aws-samples/sample-per-model-bedrock#549 ·
Maintainers usually reply within 1 day
-
Difficulty 1/5 Under an hour Newbie friendliness 90/100