Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Enable native Kev inference with the WebGPU backend

Đang mở
  • Có gì không ổn?
#23,099 2 bình luận 0 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@akdybala đang làm issue này rồi.

Từ ngày 25/9/2026.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
c, cmake, cpp, python, wasm
Lĩnh vực
ai-infra-agents, backend, compilers, desktop-dev, mobile-dev

Hướng nghiên cứu

Start with the WebGPU backend guide and operator tests in the repository. Examine the existing C++ Module API and native Dawn build. Review the Kev example's prefill and score graphs, and the Qwen3.5 MoE model reference for GDN math. The work involves auditing operator support, adding WGSL kernels, and integrating with the kev_runner and kev_benchmark. Success is measured by matching logits and probabilities against the PyTorch implementation.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

good first issue module: examples module: webgpu

Enable the native Kev example on the WebGPU backend, extending the XNNPACK and MLX support added in #23023.

Kev runs prefill followed by pointer-head scoring, with an immutable prefix snapshot reused across question batches. Start with the existing C++ Module API and a native Dawn build, without Python at inference.

Use the WebGPU backend guide and operator tests as starting points. Qwen3.5 MoE's GatedDeltaNet implementation provides a reference for GDN math and state layouts. Coordinate shared export/lowering work with the Vulkan issue, #23098.

Work to cover:

  • Audit Kev's prefill and score graphs against WebGPU runtime support. Add missing WGSL kernels and lowering support, including GDN, with focused backend regression tests. Export success alone is insufficient: WebGPUPartitioner shares Vulkan's frontend, whose operator coverage is broader.
  • Add a WebGPU export option and CMake linkage for the existing kev_runner and kev_benchmark. Respect the current mutually exclusive Vulkan/WebGPU runtime registration when linking.
  • Preserve system_one, explicit prefill/evaluate, configurable token limits, variable question/option counts, and batching beyond eight questions. Repeated evaluations must leave the prefix unchanged.
  • Start with an unquantized FP32 baseline, retaining the fitted temperature and checkpoint metadata. Compare logits, probabilities, and reused state against upstream Kev's PyTorch implementation and the existing FP32 path, with documented tolerances.
  • Verify the backbone, including GDN, executes on WebGPU and report any CPU fallback. Document a tested adapter, device/buffer limits, export/build/run commands, and measurements using kev_benchmark.

Keep the integration in the existing example and reuse the runner and benchmark. Document browser/WebAssembly constraints separately from the initial native Dawn support.

cc @iseeyuan @lucylq @helunwencser @tarun292 @kimishpatel @jackzhxng

Ngôn ngữ chính
Python
Star
5.1k
Fork
1.2k
Merge trung bình
2 ngày 8 giờ
Pull request đã merge (30 ngày)
610

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của pytorch/executorch

Tất cả issue của pytorch/executorch

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.