Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Nunchaku AWQ config accepts any group_size, but the kernel only supports 64

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#15,125 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
78/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, pytorch
Lĩnh vực
machine-learning

Hướng nghiên cứu

Bắt đầu tại src/diffusers/quantizers/quantization_config.py và đọc phần xác thực AWQ cùng với các kiểm tra kích thước nhóm SVDQ. So sánh cấu hình AWQ được chấp nhận với các ràng buộc của kernel được mô tả cho AWQW4A16Linear. Hoàn tất khi các kích thước nhóm không được hỗ trợ như 128 bị từ chối và kích thước được hỗ trợ là 64 vẫn được chấp nhận.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Describe the bug

NunchakuLiteQuantizationConfig's validation for the AWQ path (src/diffusers/quantizers/quantization_config.py) only checks precision == "int4". It never checks group_size. The actual AWQ kernel call site (AWQW4A16Linear) always calls awq_gemm_w4a16_g64_int32 / passes a literal 64 to gemv, so it only ever supports group_size=64.

A checkpoint quantized with group_size=128 loads without any error and silently produces wrong output. The SVDQ path in the same config class does validate its group size against the expected value per precision, so this looks like an oversight in the AWQ branch rather than intentional.

Reproduction
from diffusers.quantizers.quantization_config import NunchakuLiteQuantizationConfig

config = NunchakuLiteQuantizationConfig(
    awq_w4a16={"precision": "int4", "group_size": 128, "targets": ["final_linear"]}
)
# No error raised here, even though the AWQ kernel only supports group_size=64.
print(config.awq_w4a16["group_size"])  # 128
System Info
  • diffusers @ main, commit aaf57d0
  • Python 3.12, Linux
Who can help?

(leaving blank — no specific quantization reviewer listed in the template's tag guide)

Ngôn ngữ chính
Python
Star
34.8k
Fork
7.4k
Merge trung bình
2 ngày 6 giờ
Pull request đã merge (30 ngày)
54

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của huggingface/diffusers

Tất cả issue của huggingface/diffusers

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.