[Bug]: offloder cleaning failed
Los mantenedores suelen responder en 1 día
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Problem Description
CUDA_VISIBLE_DEVICES=7 python3 -m auto_round ../Qwen3.8-27B/ --iters 0 --disable_opt_rtn --scheme mxfp4 --tasks mmlu --eval_bs 16 --format fake
uantizing model.language_model.layers.61: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 61/64 [04:35<00:12, 4.30s/it]2026-10-09 20:01:26 INFO device.py L1553: 'peak_ram': 3.02GB, 'peak_vram': 6.01GB
Quantizing model.language_model.layers.62: 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 62/64 [04:39<00:08, 4.31s/it]2026-10-09 20:01:30 INFO device.py L1553: 'peak_ram': 3.04GB, 'peak_vram': 6.01GB
Quantizing model.language_model.layers.63: 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 63/64 [04:44<00:04, 4.32s/it]2026-10-09 20:01:34 INFO device.py L1553: 'peak_ram': 3.08GB, 'peak_vram': 6.01GB
Quantizing model.language_model.layers.63: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 64/64 [04:48<00:00, 4.31s/it]2026-10-09 20:01:37 WARNING offload.py L938: OffloadManager: cleanup failed for /home/wenhuach/auto-round/ar_work_space/offload/compressor_ny51qx4s: [Errno 16] Device or resource busy: '/home/wenhuach/auto-round/ar_work_space/offload/compressor_ny51qx4s'
Quantizing model.language_model.layers.63: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 64/64 [04:51<00:00, 4.55s/it]
2026-10-09 20:01:37 WARNING base.py L1949: Support for exporting activation quantization is limited. Please ensure that your configuration is supported.
2026-10-09 20:01:37 WARNING fake.py L139: Saving fake-quantized model to disk. Linear replacement is deferred to load-time (via auto_round:fake backend); save-time now keeps the in-memory quantized model structure unchanged.
Writing model shards: 0%| | 0/2 [00:00<?,
Reproduction Steps
~
Environment Information
~
Error Logs
Additional Context
No response
- Lenguaje dominante
- Python
- Estrellas
- 1.7k
- Forks
- 193
- Merge medio
- 2 d 4 h
- PR fusionados (30 d)
- 50
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de intel/auto-round
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
intel/auto-round#2525 ·
Los mantenedores suelen responder en 1 día
-
[Feature]: support NVFP4_E5M3_GSAbiertoenhancement
Dificultad 4/5 3-5 días Aptitud para principiantes 44/100
intel/auto-round#2532 ·
Los mantenedores suelen responder en 1 día
-
[Bug]: FP8 static KV cache accuracy issuePosiblemente ocupada @xin3he la tomó hace 7 días. Abiertobug
intel/auto-round#2518 · 1 reacción · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
[Feature]: split special_model_handler to a folderPosiblemente ocupada @Cross2pro la tomó hace 3 días. Abiertoenhancement
Dificultad 3/5 Medio día Aptitud para principiantes 42/100
intel/auto-round#2514 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 20/100
intel/auto-round#2507 ·
Los mantenedores suelen responder en 1 día
Todos los issues de intel/auto-round
Issues similares
-
[oblt-aw][autodoc] Update docs for security org scaffolding and Docs AI menu permission changesPosiblemente ocupada @github-actions la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
external integration integration-submission
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
langchain-ai/docs#7077 ·
Los mantenedores suelen responder en 1 día
-
author-page correction
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
acl-org/acl-anthology#10623 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Use context to recognize personal initials and lowercase namesPosiblemente ocupada @lipikaramaswamy la tomó hoy. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
NVIDIA-NeMo/Anonymizer#340 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
btclib-org/btclib-node#2083 ·
Los mantenedores suelen responder en 1 día