Streamed group offloading with `low_cpu_mem_usage=True` re-pins every group on every forward pass
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 42/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Lĩnh vực
- machine-learning, performance
Hướng nghiên cứu
Start with group_offloading.py, focusing on ModuleGroup._pinned_memory_tensors() and _apply_group_offloading_block_level; the issue also names tests/hooks/test_group_offloading.py. Trace how streamed groups pin CPU tensors and how unmatched_group handles offloading when low CPU memory usage is enabled. Done means reusable staging buffers avoid repeated pinning, original CPU tensors are restored on offload, and a test covers the behavior; the reported video difference still needs a same-process comparison.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Problem
With streamed group offloading and low_cpu_mem_usage=True:
transformer.enable_group_offload(
onload_device=torch.device("cuda"),
offload_device=torch.device("cpu"),
offload_type="block_level",
num_blocks_per_group=1,
use_stream=True,
record_stream=True,
low_cpu_mem_usage=True,
)
ModuleGroup._pinned_memory_tensors() calls tensor.pin_memory() on every parameter of the group each time the group is onloaded, and drops the pinned copies right after the transfer. For a large transformer this means allocating and page-locking the full model size in host memory on every denoising step (LTX-2.5's transformer is ~38 GB in BF16, so 8 steps pin ~300 GB in total).
A second, smaller issue: the root unmatched_group built in _apply_group_offloading_block_level is created without low_cpu_mem_usage=config.low_cpu_mem_usage, and because it has stream=None its offload path does .to(offload_device), which allocates fresh CPU copies of those tensors instead of returning to the original (e.g. safetensors-mmapped) storage.
Proposed change
- Keep a small reusable pinned staging buffer per stream (two slots, each sized to the largest group, so the current transfer and the prefetched next group never share a slot). Contiguous unpinned CPU tensors are copied into a slot view and transferred from there; TorchAO and non-contiguous tensors keep the current path.
- When
low_cpu_mem_usage=True, remember the original CPU tensors and restore them on offload, and passlow_cpu_mem_usagethrough tounmatched_group.
Measurements
Lightricks/LTX-2.5-Diffusers, BF16, 512×320, 49 frames, 8 distilled steps, seed 42, prompt pre-encoded; connectors, transformer, VAE, audio VAE and vocoder offloaded with the settings above. AMD Radeon PRO W7800 (32 GB), torch 2.13.0+rocm10.0.0. Mean of two warm pipeline calls after one warmup call:
| Warm end-to-end | Process RssAnon |
|
|---|---|---|
main |
55.62 s (56.34, 54.89) | 10.56 GiB |
| proposed | 49.82 s (49.66, 49.97) | 9.18 GiB |
The audio output is bitwise identical between the two runs. The decoded video differs by up to 1.8e-2 (values in [0, 1]); the change only alters how identical bytes are staged on the host, so I suspect cross-process convolution algorithm selection in the VAE decode, but I have not isolated it yet and will confirm with a same-process comparison before opening a PR.
Coordination
This is separate from #12747 (configurable pinning of groups). If the approach looks reasonable, I can open a small PR (changes in group_offloading.py plus a test in tests/hooks/test_group_offloading.py).
- Ngôn ngữ chính
- Python
- Star
- 34.9k
- Fork
- 7.5k
- Merge trung bình
- 3 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 65
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của huggingface/diffusers
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
huggingface/diffusers#15363 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
`ZImageImg2ImgPipeline` / `ZImageInpaintPipeline`: explicit height/width different from the input image raises RuntimeErrorCó thể đã có người làm @chessing234 đã nhận 1 ngày trước. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
huggingface/diffusers#15337 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Multi-vector textual inversion uses only the first vector when the token has uppercase letters (transformers v5)Có thể đã có người làm @sunhouy đã nhận 2 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
huggingface/diffusers#15313 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
TCDScheduler advances the generator on the final step of a strength-truncated custom scheduleCó thể đã có người làm @SIDDARTHAREDDY8 đã nhận 5 ngày trước. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
huggingface/diffusers#15288 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
unload_textual_inversion(token) leaves the extra tokens of a multi-vector embedding behind, so it can't be loaded againCó thể đã có người làm @sohailshk đã nhận 11 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
huggingface/diffusers#15211 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của huggingface/diffusers
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Unused loot bag group names left in dreamcraft en_US.langCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mởStatus: Triage Suggestion
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
GTNewHorizons/GT-New-Horizons-Modpack#27789 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug frontend sev-5
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 83/100
-
core good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
-
b4b code health next
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ESCOMP/CTSM#4330 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày