Conformance tests: Align automated and manual scoring
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- testing-qa
Hướng nghiên cứu
Bắt đầu với conformance/src/unexpected_fails.py và kiểm tra các khác biệt còn lại chưa được đánh dấu cho mypy/namedtuples_define_functional.toml, pyre/directives_reveal_type.toml và pyre/namedtuples_define_functional.toml. So sánh từng kết quả tự động với đánh giá thủ công tương ứng và đối chiếu các trường hợp còn lại. Hoàn tất khi ba khác biệt được liệt kê đã được giải quyết và điểm conformance khớp với các kết quả thủ công.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
In #1678 I added an automated tool for scoring the conformance test suite, and #1682 and #1683 added some features to support edge cases.
Now I am working on going through the remaining files where the automated conformance judgment on a file differs from the manual one (open PRs: #1684, #1685, #1687, #1688, #1689, #1690, #1691).
I'll use this issue to track the remaining discrepancies (from conformance/src/unexpected_fails.py):
- mypy/dataclasses_usage.toml: Pass vs. Fail (#1684)
- mypy/directives_version_platform.toml: Pass vs. Fail (#1685)
- mypy/namedtuples_define_functional.toml: Pass vs. Fail
- mypy/overloads_basic.toml: Pass vs. Fail (#1687)
- mypy/specialtypes_never.toml: Pass vs. Fail (#1688)
- mypy/typeddicts_alt_syntax.toml: Pass vs. Fail (#1689)
- mypy/typeddicts_type_consistency.toml: Pass vs. Fail (#1690)
- pyre/directives_reveal_type.toml: Unsupported vs. Pass
- pyre/namedtuples_define_functional.toml: Pass vs. Fail
- pyright/classes_override.toml: Pass vs. Fail (#1691)
- pyright/dataclasses_frozen.toml: Pass vs. Fail (#1699)
- pyright/dataclasses_slots.toml: Pass vs. Fail (#1699)
- pyright/dataclasses_transform_field.toml: Pass vs. Fail (#1699)
- pyright/dataclasses_transform_func.toml: Pass vs. Fail (#1699)
- pyright/generics_defaults.toml: Pass vs. Fail (#1700)
- pyright/literals_literalstring.toml: Pass vs. Fail (#1701)
- pyright/overloads_basic.toml: Pass vs. Fail (#1687)
- pyright/protocols_variance.toml: Pass vs. Fail (#1702)
- pyright/specialtypes_never.toml: Pass vs. Fail (#1688)
- pyright/tuples_unpacked.toml: Pass vs. Fail (#1703)
- pytype/dataclasses_usage.toml: Pass vs. Fail (#1684)
- pytype/directives_assert_type.toml: Pass vs. Fail (#1706)
- pytype/directives_version_platform.toml: Pass vs. Fail (#1685)
- pytype/generics_scoping.toml: Pass vs. Fail (#1704)
- pytype/typeddicts_inheritance.toml: Pass vs. Fail (#1705)
Any help is appreciated.
- Ngôn ngữ chính
- Python
- Star
- 1.8k
- Fork
- 302
- Merge trung bình
- 23 giờ
- Pull request đã merge (30 ngày)
- 8
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của python/typing
-
topic: typing spec
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
topic: typing spec
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
topic: documentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
-
topic: documentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
-
topic: conformance tests topic: typing spec
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 72/100
Tất cả issue của python/typing
Issue tương tự
-
Add: hunch Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
AbdelStark/awesome-typesafe#104 ·
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
DiamondLightSource/dodal#2211 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
openml/openml-python#1749 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
sipyourdrink-ltd/bernstein#6191 ·