deepspeedai/DeepSpeed

Vedi su GitHub

DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

Stelle: 43.1k
Fork: 5k
Issue aperte per principianti: 11
Issue indicizzate: 1.2k
Merge medio: 5g 8h
PR unite (30g): 120

Lingua principale: Python
Licenza: Apache-2.0
Ultimo push su GitHub: 19/9/2026
Ultima indicizzazione: 20/9/2026
Guida per i contributori: Guida per i contributori
Codice di condotta: Codice di condotta
Label per principianti: Nessuna label per principianti indicizzata

Adatte ai principianti Tutto

Aperta Tutte

[REQUEST] Support FusedLion / FusedLamb and Zero++ quantized communication (hpZ / qgZ) on NPU Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

deepspeedai/DeepSpeed#8626 · Aperta il 22/9/2026
Universal checkpoint conversion only knows Adam's state keys, so a Muon checkpoint cannot be converted Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8608 · 1 commento · Aperta il 20/9/2026
[BUG]_prepare_fp32_grad_for_sub_group clears every parameter's gradient once per sub-group Aperta

bug training

deepspeedai/DeepSpeed#8586 · 1 assegnatario · Aperta il 18/9/2026
init_inference rejects dtype=torch.int8 on every accelerator Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

deepspeedai/DeepSpeed#8577 · Aperta il 18/9/2026
[BUG] Runtime configuration validation is bypassed under python -O Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100

deepspeedai/DeepSpeed#8572 · 1 commento · Aperta il 17/9/2026
2 tests fail: assert isinstance(model.llm[0], DistributedAttention) Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100

deepspeedai/DeepSpeed#8554 · Aperta il 16/9/2026
[BUG] AutoTP checkpoint load raises AttributeError on a model containing nn.InstanceNorm1d Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100

deepspeedai/DeepSpeed#8514 · Aperta il 14/9/2026
[BUG] Python checkpoint writers fail to reload full ZeRO-3 state with default torch.load Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

deepspeedai/DeepSpeed#8500 · Aperta il 13/9/2026
[BUG] ZeRO-3 ignores checkpoint tag when load_optimizer_states=False Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 78/100

deepspeedai/DeepSpeed#8499 · Aperta il 13/9/2026
Deprecate unused DeepSpeed features Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

deepspeedai/DeepSpeed#8489 · 6 commenti · Aperta il 11/9/2026
[BUG] Memory leak in loss backward when enabled torch activation checkpoint & zero3 & single-model-multi-branch network Aperta

bug training

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

deepspeedai/DeepSpeed#8481 · Aperta il 11/9/2026
Can't install in Python 3.14.6 with GCC Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8480 · 1 commento · Aperta il 11/9/2026
[Bug] AutoEP FP32 gradient clipping averages norms across ranks with different expert ownership Aperta

bug training

Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100

deepspeedai/DeepSpeed#8475 · 1 commento · Aperta il 10/9/2026
[RFC] Enable Correct and High-Performance Muon Optimizer under ZeRO CPU Offload (Stage 1/2/3) Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

deepspeedai/DeepSpeed#8463 · 1 reazione · Aperta il 8/9/2026
[FEATURE] Align decode fronts and trim dead zones in continuous batching Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8462 · Aperta il 8/9/2026
[BUG] Do not silently ignore use_shared_prefill with continuous batching Aperta

bug training

deepspeedai/DeepSpeed#8458 · 2 commenti · 1 assegnatario · Aperta il 8/9/2026
AutoTP loads module weights by hardcoded class name, so 219 of 233 transformers norm classes are silently left on meta Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

deepspeedai/DeepSpeed#8447 · Aperta il 6/9/2026
Default gradient_clipping divides every Muon update by its own norm, shrinking the step by a model-sized factor Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8439 · 1 commento · Aperta il 6/9/2026
Muon under AutoTP orthogonalizes each shard, so the update depends on the TP degree Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8437 · 1 commento · Aperta il 6/9/2026
ZeRO skips the optimizer step on gradient overflow without logging anything Aperta

deepspeedai/DeepSpeed#8415 · 1 reazione · 1 assegnatario · Aperta il 4/9/2026
[BUG] Curriculum data sampler checkpoints the global numpy RNG, not its own, so resume replays the sampling stream Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100

deepspeedai/DeepSpeed#8405 · Aperta il 3/9/2026
ZeRO-3 HybridMegatron QKV layout mutations are not persisted Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 74/100

deepspeedai/DeepSpeed#8391 · Aperta il 2/9/2026
[BUG] set_norm_for_param_grad_in_gpu's grad_accum fallback is dead in both accumulation modes Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100

deepspeedai/DeepSpeed#8371 · Aperta il 31/8/2026
[Feature] Per-Head Muon: per-head Newton-Schulz orthogonalization for attention projections Aperta

enhancement training

Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100

deepspeedai/DeepSpeed#8367 · 5 commenti · 4 reazioni · Aperta il 30/8/2026
ZeRO-1/2 average_tensor serializes backward compute behind the preceding reduction Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8364 · 4 commenti · Aperta il 30/8/2026
[BUG]Unfreed parameters and unnecessary peak memory in autoEP Aperta

bug training

deepspeedai/DeepSpeed#8353 · 1 commento · 1 assegnatario · Aperta il 29/8/2026
[BUG] DeepSpeed generation fails with a CPU/CUDA device mismatch when keep-module-on-host is enabled Aperta

bug inference

Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

deepspeedai/DeepSpeed#8338 · 1 commento · Aperta il 28/8/2026
HybridEngineRollout: synchronized early stopping across ZeRO-3 data-parallel ranks Aperta

deepspeedai/DeepSpeed#8321 · 5 commenti · 1 assegnatario · Aperta il 26/8/2026
[REQUEST] XPU: register native pinned host memory with the device runtime (follow-up to #8283) Aperta

deepspeedai/DeepSpeed#8315 · 1 commento · 2 reazioni · 1 assegnatario · Aperta il 25/8/2026
HF transformers main injects 'embedding_rowwise' into tp_plan for tied-embedding models; AutoTP rejects the whole plan Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8290 · 3 commenti · 1 reazione · Aperta il 22/8/2026
Define affine IR for checkpointing Aperta

enhancement

deepspeedai/DeepSpeed#8252 · 16 commenti · 1 reazione · 1 assegnatario · Aperta il 14/8/2026
[RFC] Universal checkpoint: non-semantic per-parameter geometric shard map Aperta

deepspeedai/DeepSpeed#8230 · 10 commenti · 1 reazione · 1 assegnatario · Aperta il 7/8/2026
[REQUEST] OPSD Profile and improve HybridEngine rollout performance Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100

deepspeedai/DeepSpeed#8197 · 17 commenti · 1 reazione · Aperta il 31/7/2026
[REQUEST] Dynamic/Adaptive Prefetching Window for ZeRO-3 Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8193 · 3 commenti · 1 reazione · Aperta il 29/7/2026
[RFC] Support sharding LM heads and adopting Online Softmax Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

deepspeedai/DeepSpeed#8173 · 5 commenti · 2 reazioni · Aperta il 24/7/2026
Add logging support for better observability Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8140 · 1 commento · Aperta il 14/7/2026
DeepSpeed - Q3 Roadmap Aperta

deepspeedai/DeepSpeed#8104 · 6 commenti · 9 reazioni · 5 assegnatari · Aperta il 30/6/2026
Consider adding a changelog to track version history Aperta

Difficoltà 1/5 1-3 ore Idoneità per principianti 68/100

deepspeedai/DeepSpeed#8101 · 1 commento · Aperta il 30/6/2026
Exception type too broad in error handling Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

deepspeedai/DeepSpeed#8093 · 1 commento · Aperta il 26/6/2026
zero.Init partitioning of large fused MoE-expert tensors spikes a single GPU (transient full materialization) -> OOM during load even when the sharded model fits Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100

deepspeedai/DeepSpeed#8085 · 4 commenti · Aperta il 22/6/2026
Add type hints to public API functions Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

deepspeedai/DeepSpeed#8074 · 1 commento · Aperta il 17/6/2026
EvoformerAttention should auto-detect CUTLASS instead of requiring CUTLASS_PATH Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

deepspeedai/DeepSpeed#8001 · 1 commento · Aperta il 8/5/2026
[BUG]Loss connection to ranks Aperta

bug training

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

deepspeedai/DeepSpeed#7991 · 4 commenti · Aperta il 4/5/2026
[REQUEST] Add Trackio as a New Backend for Experiment Monitoring Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100

deepspeedai/DeepSpeed#7964 · 4 commenti · Aperta il 9/4/2026
[BUG] crashed training gpt model using 3d parallelization Aperta

bug training

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

deepspeedai/DeepSpeed#7922 · 2 commenti · Aperta il 25/3/2026
[REQUEST] Put NVTX instrumentation in its own domain (and potentially categories) Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

deepspeedai/DeepSpeed#7912 · 3 commenti · Aperta il 18/3/2026
Trouble running tests: Failed to find precompiled modules Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100

deepspeedai/DeepSpeed#7909 · 1 commento · 1 reazione · Aperta il 17/3/2026
Deepspeed zero 3 seems to save empty adapter_model.safetensors Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 28/100

deepspeedai/DeepSpeed#7900 · 1 commento · Aperta il 13/3/2026
[RFC] SDMA-Based Collective Communication Backend for ZeRO-3 on AMD GPUs Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

deepspeedai/DeepSpeed#7884 · 10 commenti · 4 reazioni · Aperta il 4/3/2026
[Roadmap] DeepSpeed Roadmap Q2 2026 Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

deepspeedai/DeepSpeed#7861 · 4 commenti · 5 reazioni · Aperta il 19/2/2026

Vengono mostrati i 100 più recenti

Questa pagina elenca solo ciò che è stato indicizzato di recente. Il filtro avanzato contiene l'inventario completo, ristretto per linguaggio, difficoltà e durata.

Apri il filtro avanzato

deepspeedai/DeepSpeed

Vengono mostrati i 100 più recenti

Ricevi le nuove issue nella tua casella