[Bug]: offloder cleaning failed

Đã đóng
  • Có gì không ổn?
#2,467 0 bình luận 0 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@lvliang-intel đang làm issue này rồi.

Từ ngày 10/10/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

bug
Problem Description

CUDA_VISIBLE_DEVICES=7 python3 -m auto_round ../Qwen3.8-27B/ --iters 0 --disable_opt_rtn --scheme mxfp4 --tasks mmlu --eval_bs 16 --format fake

uantizing model.language_model.layers.61: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/64 [04:35<00:12, 4.30s/it]2026-10-09 20:01:26 INFO device.py L1553: 'peak_ram': 3.02GB, 'peak_vram': 6.01GB
Quantizing model.language_model.layers.62: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 62/64 [04:39<00:08, 4.31s/it]2026-10-09 20:01:30 INFO device.py L1553: 'peak_ram': 3.04GB, 'peak_vram': 6.01GB
Quantizing model.language_model.layers.63: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 63/64 [04:44<00:04, 4.32s/it]2026-10-09 20:01:34 INFO device.py L1553: 'peak_ram': 3.08GB, 'peak_vram': 6.01GB
Quantizing model.language_model.layers.63: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 64/64 [04:48<00:00, 4.31s/it]2026-10-09 20:01:37 WARNING offload.py L938: OffloadManager: cleanup failed for /home/wenhuach/auto-round/ar_work_space/offload/compressor_ny51qx4s: [Errno 16] Device or resource busy: '/home/wenhuach/auto-round/ar_work_space/offload/compressor_ny51qx4s'
Quantizing model.language_model.layers.63: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 64/64 [04:51<00:00, 4.55s/it]
2026-10-09 20:01:37 WARNING base.py L1949: Support for exporting activation quantization is limited. Please ensure that your configuration is supported.
2026-10-09 20:01:37 WARNING fake.py L139: Saving fake-quantized model to disk. Linear replacement is deferred to load-time (via auto_round:fake backend); save-time now keeps the in-memory quantized model structure unchanged.
Writing model shards: 0%| | 0/2 [00:00<?,

Reproduction Steps

~

Environment Information

~

Error Logs
Additional Context

No response

Ngôn ngữ chính
Python
Star
1.7k
Fork
197
Merge trung bình
2 ngày 23 giờ
Pull request đã merge (30 ngày)
68

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của intel/auto-round

Tất cả issue của intel/auto-round

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.