Conformance tests: Align automated and manual scoring
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 35/100
- Issue 類型
- 缺陷
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- python
- 領域
- testing-qa
研究方向
從 conformance/src/unexpected_fails.py 開始，檢查 mypy/namedtuples_define_functional.toml、pyre/directives_reveal_type.toml 和 pyre/namedtuples_define_functional.toml 中剩餘的未勾選差異。將每個自動化結果與其手動判定進行比較，並協調剩餘案例。完成的標準是列出的三個差異已解決，且 conformance 評分與手動結果一致。
由索引模型根據 Issue 內容生成。
描述
In #1678 I added an automated tool for scoring the conformance test suite, and #1682 and #1683 added some features to support edge cases.
Now I am working on going through the remaining files where the automated conformance judgment on a file differs from the manual one (open PRs: #1684, #1685, #1687, #1688, #1689, #1690, #1691).
I'll use this issue to track the remaining discrepancies (from conformance/src/unexpected_fails.py):
- mypy/dataclasses_usage.toml: Pass vs. Fail (#1684)
- mypy/directives_version_platform.toml: Pass vs. Fail (#1685)
- mypy/namedtuples_define_functional.toml: Pass vs. Fail
- mypy/overloads_basic.toml: Pass vs. Fail (#1687)
- mypy/specialtypes_never.toml: Pass vs. Fail (#1688)
- mypy/typeddicts_alt_syntax.toml: Pass vs. Fail (#1689)
- mypy/typeddicts_type_consistency.toml: Pass vs. Fail (#1690)
- pyre/directives_reveal_type.toml: Unsupported vs. Pass
- pyre/namedtuples_define_functional.toml: Pass vs. Fail
- pyright/classes_override.toml: Pass vs. Fail (#1691)
- pyright/dataclasses_frozen.toml: Pass vs. Fail (#1699)
- pyright/dataclasses_slots.toml: Pass vs. Fail (#1699)
- pyright/dataclasses_transform_field.toml: Pass vs. Fail (#1699)
- pyright/dataclasses_transform_func.toml: Pass vs. Fail (#1699)
- pyright/generics_defaults.toml: Pass vs. Fail (#1700)
- pyright/literals_literalstring.toml: Pass vs. Fail (#1701)
- pyright/overloads_basic.toml: Pass vs. Fail (#1687)
- pyright/protocols_variance.toml: Pass vs. Fail (#1702)
- pyright/specialtypes_never.toml: Pass vs. Fail (#1688)
- pyright/tuples_unpacked.toml: Pass vs. Fail (#1703)
- pytype/dataclasses_usage.toml: Pass vs. Fail (#1684)
- pytype/directives_assert_type.toml: Pass vs. Fail (#1706)
- pytype/directives_version_platform.toml: Pass vs. Fail (#1685)
- pytype/generics_scoping.toml: Pass vs. Fail (#1704)
- pytype/typeddicts_inheritance.toml: Pass vs. Fail (#1705)
Any help is appreciated.
- 主要語言
- Python
- 星號
- 1.8k
- 分支
- 302
- 平均合併
- 4 小時 38 分鐘
- 30 天內合併 PR
- 6
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南，環境需要你自己搭建：先看它的 README，通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
python/typing 的其他 Issue
-
topic: typing spec
難度 2/5 1-3 小時 新手友好度 72/100
-
topic: typing spec
難度 2/5 1-3 小時 新手友好度 75/100
-
Update reference/generics.html with PEP695 type parameter syntax可能已有人在做 @BHUVANSH855 於 181 天前認領。 未關閉topic: documentation
難度 2/5 1-3 小時 新手友好度 76/100
-
topic: documentation
難度 2/5 1-3 小時 新手友好度 65/100
-
Finals and Literals: Spec contradiction可能已有人在做 @srittau 於 35 天前認領。 未關閉topic: conformance tests topic: typing spec
難度 3/5 1-2 天 新手友好度 72/100
相似的 Issue
-
Device Details tables: FS/SF columns contradict each other (nfet_01v8 Vt row, pfet_01v8 Idsat row)未關閉
難度 2/5 1-3 小時 新手友好度 75/100
google/skywater-pdk#450 ·
-
Drained trajectory arrays are overwritten when the sequence buffer is reused可能已有人在做 @sylvesterkaczmarek 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 78/100
google-deepmind/bsuite#56 ·
-
難度 2/5 1-3 小時 新手友好度 82/100
LearningCircuit/local-deep-research#7206 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 68/100
chingu-voyages/V62-tier3-team-33#285 ·
維護者通常 1 天內回覆
-
Proxy drops log notifications from backends that don't send FastMCP's msg/extra dict可能已有人在做 @asasemahmed 今天認領。 未關閉bug server
難度 2/5 1-3 小時 新手友好度 78/100
維護者通常 1 天內回覆