Generate target_compatible_with for whl_library_targets
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 52/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python
- Lĩnh vực
- build-system
Hướng nghiên cứu
Bắt đầu trong python/private/pypi/whl_library_targets.bzl và kiểm tra tiện ích parse_whl_name được đề cập trong issue, theo dõi cách tên tệp wheel đi đến các target py_library được tạo. Công việc được xem là hoàn tất khi các thẻ wheel dành riêng cho nền tảng tạo ra ràng buộc target_compatible_with tương ứng, trong khi các wheel pure-Python vẫn không bị ràng buộc; hãy kiểm tra các target Bazel được tạo và hành vi build liên quan.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
🚀 feature request
Relevant Rules
whl_library_targets macro in python/private/pypi/whl_library_targets.bzl
Description
When rules_python generates BUILD targets for platform-specific wheels (e.g., torch-2.8.0-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl), the resulting py_library does not set target_compatible_with. This means Bazel cannot distinguish platform-specific wheels from pure-Python ones at analysis time.
We maintain a repo that targets both x86_64 and aarch64. Our pyproject.toml uses PEP 508 environment markers to restrict certain dependencies to x86_64:
dependencies = [
"torch==2.8.0; platform_machine == 'x86_64'",
"opencv-python==4.11.0.86; platform_machine == 'x86_64'",
"tensorboard==2.20.0; platform_machine == 'x86_64'",
# ... many more x86_64-only deps
]
We generate separate lock files per platform via uv pip compile. The pip.parse extension correctly fetches platform-specific wheels. However, the generated py_library targets for these wheels have no target_compatible_with constraint.
This causes two issues:
-
bazel build //...fails on aarch64: Bazel attempts to build targets that transitively depend on x86_64-only wheels, which fail because the wheel files don't exist for aarch64. Withtarget_compatible_with, Bazel would instead skip incompatible targets (printingSKIPPEDin the build output). -
Manual
target_compatible_withannotations required everywhere: As a workaround, we must addtarget_compatible_with = ["@platforms//cpu:x86_64"]to everypy_testandpy_binarythat transitively depends on an x86_64-only wheel. This is error-prone and tedious — our repo currently has dozens of such annotations scattered across BUILD files.
Describe the solution you'd like
The whl_library_targets macro should automatically infer target_compatible_with from the wheel filename's platform tag and set it on the generated py_library.
Wheel filenames follow a well-defined format (PEP 427): {distribution}-{version}(-{build tag})?-{python tag}-{abi tag}-{platform tag}.whl. The platform tag encodes the target architecture:
| Platform tag suffix | Constraint |
|---|---|
_x86_64, _amd64 |
@platforms//cpu:x86_64 |
_aarch64, _arm64 |
@platforms//cpu:aarch64 |
_i686 |
@platforms//cpu:x86_32 |
_ppc64le |
@platforms//cpu:ppc |
_s390x |
@platforms//cpu:s390x |
any (pure-Python) |
(no constraint) |
A possible implementation in whl_library_targets.bzl:
load(":parse_whl_name.bzl", "parse_whl_name")
_PLATFORM_TAG_CPU_MAP = {
"x86_64": "@platforms//cpu:x86_64",
"amd64": "@platforms//cpu:x86_64",
"aarch64": "@platforms//cpu:aarch64",
"arm64": "@platforms//cpu:aarch64",
"i686": "@platforms//cpu:x86_32",
"ppc64le": "@platforms//cpu:ppc",
"s390x": "@platforms//cpu:s390x",
}
def _target_compatible_with_from_whl_name(whl_filename):
if not whl_filename or not whl_filename.endswith(".whl"):
return []
parsed = parse_whl_name(whl_filename)
if parsed.platform_tag == "any":
return []
for suffix, constraint in _PLATFORM_TAG_CPU_MAP.items():
if parsed.platform_tag.endswith("_" + suffix):
return [constraint]
return []
Then in the whl_library_targets function, pass it to py_library:
rules.py_library(
...
target_compatible_with = _target_compatible_with_from_whl_name(name),
...
)
This leverages the existing parse_whl_name utility already available in rules_python.
Describe alternatives you've considered
-
Manual
target_compatible_withon downstream targets: This is what we currently do — everypy_test/py_binarythat transitively depends on an x86_64-only wheel gets a manualtarget_compatible_with = ["@platforms//cpu:x86_64"]. This is tedious, error-prone, and doesn't scale. Each new test file requires the developer to figure out whether any transitive dependency is platform-specific. -
Patching
rules_pythonlocally viasingle_version_override: We currently apply a local patch towhl_library_targets.bzl(viasingle_version_overrideinMODULE.bazel) that implements the solution described above. This works but is a maintenance burden — we have to keep the patch in sync with upstreamrules_pythonupdates. -
Using
pip.parsewhl_modificationsto post-hoc addtarget_compatible_with: This would require listing every platform-specific wheel individually and is even more error-prone than option 1.
The information to infer target_compatible_with is already embedded in the wheel filename. Having rules_python set it automatically would eliminate all three workarounds and make cross-platform Bazel builds work correctly out of the box.
- Ngôn ngữ chính
- Starlark
- Star
- 690
- Fork
- 722
- Merge trung bình
- 1 ngày 55 phút
- Pull request đã merge (30 ngày)
- 38
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của bazel-contrib/rules_python
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
bazel-contrib/rules_python#4179 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
bazel-contrib/rules_python#4164 · 1 bình luận ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
bazel-contrib/rules_python#3821 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
bazel-contrib/rules_python#4181 ·
-
Release 2.4.0 Đang mởtype: release
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
bazel-contrib/rules_python#4175 · 3 bình luận ·
Tất cả issue của bazel-contrib/rules_python
Issue tương tự
-
core dependencies
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 80/100
-
bug github_actions
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
registrystack/registry-stack#1393 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Name consistency Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
eellak/triplestore#65 · 1 bình luận ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100