schemathesis_datagen_pipeline: hidden Phase 1 imports names and format keys that TODO.md never gives
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
Read TODO.md and inspect test_01_header_strategies.py to compare the documented requirements with the hidden Phase 1 imports and checks described in the issue. Reproduce the scores with the provided archive and mk.py using the listed judge_local.py command; done means the documented task requirements allow the same archive to reach the reported full Phase 1 score.
索引モデルが issue の本文から書いたものです。
説明
Task
schemathesis_datagen_pipeline
Claim
Hidden Phase 1 (test_01_header_strategies.py) imports names from schemathesis.specs.openapi.headers and checks literal format keys and Range forms that TODO.md doesn't give. Target 1 lists the registry, generators, dispatch and integration it needs, but not the module path, exported names or format keys. A module with other names fails the import, so all of Phase 1 fails: 2 of 13 weights, 15.38 of 100 points.
Impact
Repeated grades of the same archives on judge 484f15fd657f:
| Submission | n | Score | Phase 1 |
|---|---|---|---|
| Opus 5.5 solver, unchanged | 19 | 72.31 | 0 of 15 |
| Same, with aliases for the names and keys | 15 | 85.64 (8 times), 86.67 (7 times) | 13 or 14 of 15 |
| That plus the three literal Range forms | 13 | 87.69 | 15 of 15 |
Evidence and how to reproduce
On community f92857a3, with agent2.tar.gz and mk.py from https://github.com/findalexli/EdgeBench/tree/da540564098c8bbc0ad5b9b4cfce0ce53045f8d6/schemathesis_datagen_pipeline (archive sha256 a8e1ccccf546717cd70cd63d2bd671571193b4c048dcb9a7a96357a1b39a6711):
python -m sforge build --task schemathesis_datagen_pipeline
python3 mk.py schemathesis_datagen_pipeline . agent2_named agent2_full
for a in agent2 agent2_named agent2_full; do
python3 tools/judge_local.py --task-dir edgebench/tasks/schemathesis_datagen_pipeline \
--image edgebench.judge.schemathesis_datagen_pipeline:484f15fd657f --archive $a.tar.gz --out $a.json
done
Expected: 72.31, then 85.64 or 86.67, then 87.69.
Limits
All rows come from one Opus run; eight of its snapshots contain a headers.py.
- 主要言語
- Python
- スター
- 474
- フォーク
- 20
- 平均マージ
- 3日 6時間
- マージ済み PR（30日）
- 3
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ByteDance-Seed/EdgeBench のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
ByteDance-Seed/EdgeBench#48 ·
メンテナーはふだん 2 日以内に返信
-
FFmpeg: public result hides whether failure occurred before correctness checks対応中かも @loopx-agent が 1 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
ByteDance-Seed/EdgeBench#57 ·
メンテナーはふだん 2 日以内に返信
-
integer_compression_codec: stored size anchors are impossible for the documented Varint starterオープン
難易度 4/5 3〜5日 初心者へのやさしさ 54/100
ByteDance-Seed/EdgeBench#52 ·
メンテナーはふだん 2 日以内に返信
-
wesnoth_tactical_ai: top-level Lua files never run (`if io then` raises on an undefined global)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
ByteDance-Seed/EdgeBench#51 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
ByteDance-Seed/EdgeBench#50 ·
メンテナーはふだん 2 日以内に返信
ByteDance-Seed/EdgeBench の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
RunestoneInteractive/rs#1661 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
streamlink/streamlink#7192 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
aws-samples/sample-per-model-bedrock#795 ·
メンテナーはふだん 1 日以内に返信