Owner

deepspeedai

已索引 2 个仓库 · 在 GitHub 查看

DeepSpeed
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

Python · 43141 个 star
DeepSpeedExamples
Example models using DeepSpeed

Python · 6849 个 star

适合新手全部

未关闭全部

[REQUEST] Support FusedLion / FusedLamb and Zero++ quantized communication (hpZ / qgZ) on NPU 未关闭

enhancement

难度 5/5 一周以上新手友好度 25/100

deepspeedai/DeepSpeed#8626 · 2026年9月22日创建
Universal checkpoint conversion only knows Adam's state keys, so a Muon checkpoint cannot be converted 未关闭

难度 4/5 3-5 天新手友好度 35/100

deepspeedai/DeepSpeed#8608 · 1 条评论 · 2026年9月20日创建
[BUG]_prepare_fp32_grad_for_sub_group clears every parameter's gradient once per sub-group 未关闭

bug training

deepspeedai/DeepSpeed#8586 · 已指派 1 人 · 2026年9月18日创建
init_inference rejects dtype=torch.int8 on every accelerator 未关闭

难度 2/5 1-3 小时新手友好度 78/100

deepspeedai/DeepSpeed#8577 · 2026年9月18日创建
[BUG] Runtime configuration validation is bypassed under python -O 未关闭

难度 3/5 1-2 天新手友好度 68/100

deepspeedai/DeepSpeed#8572 · 1 条评论 · 2026年9月17日创建
2 tests fail: assert isinstance(model.llm[0], DistributedAttention) 未关闭

难度 3/5 1-2 天新手友好度 68/100

deepspeedai/DeepSpeed#8554 · 2026年9月16日创建
[BUG] AutoTP checkpoint load raises AttributeError on a model containing nn.InstanceNorm1d 未关闭

难度 2/5 1-3 小时新手友好度 84/100

deepspeedai/DeepSpeed#8514 · 2026年9月14日创建
[BUG] Python checkpoint writers fail to reload full ZeRO-3 state with default torch.load 未关闭

难度 2/5 1-3 小时新手友好度 78/100

deepspeedai/DeepSpeed#8500 · 2026年9月13日创建
[BUG] ZeRO-3 ignores checkpoint tag when load_optimizer_states=False 未关闭

难度 3/5 1-2 天新手友好度 78/100

deepspeedai/DeepSpeed#8499 · 2026年9月13日创建
Deprecate unused DeepSpeed features 未关闭

难度 5/5 一周以上新手友好度 20/100

deepspeedai/DeepSpeed#8489 · 6 条评论 · 2026年9月11日创建
[BUG] Memory leak in loss backward when enabled torch activation checkpoint & zero3 & single-model-multi-branch network 未关闭

bug training

难度 4/5 3-5 天新手友好度 48/100

deepspeedai/DeepSpeed#8481 · 2026年9月11日创建
Can't install in Python 3.14.6 with GCC 未关闭

难度 4/5 3-5 天新手友好度 35/100

deepspeedai/DeepSpeed#8480 · 1 条评论 · 2026年9月11日创建
[Bug] AutoEP FP32 gradient clipping averages norms across ranks with different expert ownership 未关闭

bug training

难度 4/5 3-5 天新手友好度 32/100

deepspeedai/DeepSpeed#8475 · 1 条评论 · 2026年9月10日创建
[RFC] Enable Correct and High-Performance Muon Optimizer under ZeRO CPU Offload (Stage 1/2/3) 未关闭

难度 5/5 一周以上新手友好度 25/100

deepspeedai/DeepSpeed#8463 · 1 个 reaction · 2026年9月8日创建
[FEATURE] Align decode fronts and trim dead zones in continuous batching 未关闭

enhancement

难度 5/5 一周以上新手友好度 35/100

deepspeedai/DeepSpeed#8462 · 2026年9月8日创建
[BUG] Do not silently ignore use_shared_prefill with continuous batching 未关闭

bug training

deepspeedai/DeepSpeed#8458 · 2 条评论 · 已指派 1 人 · 2026年9月8日创建
AutoTP loads module weights by hardcoded class name, so 219 of 233 transformers norm classes are silently left on meta 未关闭

难度 4/5 3-5 天新手友好度 45/100

deepspeedai/DeepSpeed#8447 · 2026年9月6日创建
Default gradient_clipping divides every Muon update by its own norm, shrinking the step by a model-sized factor 未关闭

难度 5/5 一周以上新手友好度 35/100

deepspeedai/DeepSpeed#8439 · 1 条评论 · 2026年9月6日创建
Muon under AutoTP orthogonalizes each shard, so the update depends on the TP degree 未关闭

难度 5/5 一周以上新手友好度 35/100

deepspeedai/DeepSpeed#8437 · 1 条评论 · 2026年9月6日创建
ZeRO skips the optimizer step on gradient overflow without logging anything 未关闭

deepspeedai/DeepSpeed#8415 · 1 个 reaction · 已指派 1 人 · 2026年9月4日创建
[BUG] Curriculum data sampler checkpoints the global numpy RNG, not its own, so resume replays the sampling stream 未关闭

难度 3/5 1-2 天新手友好度 68/100

deepspeedai/DeepSpeed#8405 · 2026年9月3日创建
ZeRO-3 HybridMegatron QKV layout mutations are not persisted 未关闭

难度 3/5 1-2 天新手友好度 74/100

deepspeedai/DeepSpeed#8391 · 2026年9月2日创建
[BUG] set_norm_for_param_grad_in_gpu's grad_accum fallback is dead in both accumulation modes 未关闭

难度 2/5 1-3 小时新手友好度 76/100

deepspeedai/DeepSpeed#8371 · 2026年8月31日创建
[Feature] Per-Head Muon: per-head Newton-Schulz orthogonalization for attention projections 未关闭

enhancement training

难度 5/5 一周以上新手友好度 45/100

deepspeedai/DeepSpeed#8367 · 5 条评论 · 4 个 reaction · 2026年8月30日创建
ZeRO-1/2 average_tensor serializes backward compute behind the preceding reduction 未关闭

难度 5/5 一周以上新手友好度 35/100

deepspeedai/DeepSpeed#8364 · 4 条评论 · 2026年8月30日创建
[BUG]Unfreed parameters and unnecessary peak memory in autoEP 未关闭

bug training

deepspeedai/DeepSpeed#8353 · 1 条评论 · 已指派 1 人 · 2026年8月29日创建
[BUG] DeepSpeed generation fails with a CPU/CUDA device mismatch when keep-module-on-host is enabled 未关闭

bug inference

难度 4/5 3-5 天新手友好度 52/100

deepspeedai/DeepSpeed#8338 · 1 条评论 · 2026年8月28日创建
HybridEngineRollout: synchronized early stopping across ZeRO-3 data-parallel ranks 未关闭

deepspeedai/DeepSpeed#8321 · 5 条评论 · 已指派 1 人 · 2026年8月26日创建
[REQUEST] XPU: register native pinned host memory with the device runtime (follow-up to #8283) 未关闭

deepspeedai/DeepSpeed#8315 · 1 条评论 · 2 个 reaction · 已指派 1 人 · 2026年8月25日创建
HF transformers main injects 'embedding_rowwise' into tp_plan for tied-embedding models; AutoTP rejects the whole plan 未关闭

难度 4/5 3-5 天新手友好度 35/100

deepspeedai/DeepSpeed#8290 · 3 条评论 · 1 个 reaction · 2026年8月22日创建
Define affine IR for checkpointing 未关闭

enhancement

deepspeedai/DeepSpeed#8252 · 16 条评论 · 1 个 reaction · 已指派 1 人 · 2026年8月14日创建
[RFC] Universal checkpoint: non-semantic per-parameter geometric shard map 未关闭

deepspeedai/DeepSpeed#8230 · 10 条评论 · 1 个 reaction · 已指派 1 人 · 2026年8月7日创建
[REQUEST] OPSD Profile and improve HybridEngine rollout performance 未关闭

enhancement

难度 5/5 一周以上新手友好度 45/100

deepspeedai/DeepSpeed#8197 · 17 条评论 · 1 个 reaction · 2026年7月31日创建
[REQUEST] Dynamic/Adaptive Prefetching Window for ZeRO-3 未关闭

enhancement

难度 5/5 一周以上新手友好度 35/100

deepspeedai/DeepSpeed#8193 · 3 条评论 · 1 个 reaction · 2026年7月29日创建
[RFC] Support sharding LM heads and adopting Online Softmax 未关闭

enhancement

难度 5/5 一周以上新手友好度 25/100

deepspeedai/DeepSpeed#8173 · 5 条评论 · 2 个 reaction · 2026年7月24日创建
Add logging support for better observability 未关闭

难度 5/5 一周以上新手友好度 35/100

deepspeedai/DeepSpeed#8140 · 1 条评论 · 2026年7月14日创建
DeepSpeed - Q3 Roadmap 未关闭

deepspeedai/DeepSpeed#8104 · 6 条评论 · 9 个 reaction · 已指派 5 人 · 2026年6月30日创建
Consider adding a changelog to track version history 未关闭

难度 1/5 1-3 小时新手友好度 68/100

deepspeedai/DeepSpeed#8101 · 1 条评论 · 2026年6月30日创建
Exception type too broad in error handling 未关闭

难度 4/5 3-5 天新手友好度 42/100

deepspeedai/DeepSpeed#8093 · 1 条评论 · 2026年6月26日创建
zero.Init partitioning of large fused MoE-expert tensors spikes a single GPU (transient full materialization) -> OOM during load even when the sharded model fits 未关闭

难度 5/5 一周以上新手友好度 45/100

deepspeedai/DeepSpeed#8085 · 4 条评论 · 2026年6月22日创建
Add type hints to public API functions 未关闭

难度 5/5 一周以上新手友好度 35/100

deepspeedai/DeepSpeed#8074 · 1 条评论 · 2026年6月17日创建
EvoformerAttention should auto-detect CUTLASS instead of requiring CUTLASS_PATH 未关闭

难度 4/5 3-5 天新手友好度 52/100

deepspeedai/DeepSpeed#8001 · 1 条评论 · 2026年5月8日创建
[BUG]Loss connection to ranks 未关闭

bug training

难度 4/5 3-5 天新手友好度 45/100

deepspeedai/DeepSpeed#7991 · 4 条评论 · 2026年5月4日创建
[REQUEST] Add Trackio as a New Backend for Experiment Monitoring 未关闭

enhancement

难度 4/5 3-5 天新手友好度 55/100

deepspeedai/DeepSpeed#7964 · 4 条评论 · 2026年4月9日创建
[BUG] crashed training gpt model using 3d parallelization 未关闭

bug training

难度 4/5 3-5 天新手友好度 35/100

deepspeedai/DeepSpeed#7922 · 2 条评论 · 2026年3月25日创建
[REQUEST] Put NVTX instrumentation in its own domain (and potentially categories) 未关闭

enhancement

难度 4/5 3-5 天新手友好度 48/100

deepspeedai/DeepSpeed#7912 · 3 条评论 · 2026年3月18日创建
Trouble running tests: Failed to find precompiled modules 未关闭

难度 2/5 1-3 小时新手友好度 74/100

deepspeedai/DeepSpeed#7909 · 1 条评论 · 1 个 reaction · 2026年3月17日创建
Deepspeed zero 3 seems to save empty adapter_model.safetensors 未关闭

难度 4/5 3-5 天新手友好度 28/100

deepspeedai/DeepSpeed#7900 · 1 条评论 · 2026年3月13日创建
[RFC] SDMA-Based Collective Communication Backend for ZeRO-3 on AMD GPUs 未关闭

难度 5/5 一周以上新手友好度 35/100

deepspeedai/DeepSpeed#7884 · 10 条评论 · 4 个 reaction · 2026年3月4日创建
[Roadmap] DeepSpeed Roadmap Q2 2026 未关闭

难度 5/5 一周以上新手友好度 25/100

deepspeedai/DeepSpeed#7861 · 4 条评论 · 5 个 reaction · 2026年2月19日创建

只显示最新的 100 条

这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。

前往高级筛选

deepspeedai

只显示最新的 100 条

把新 issue 发到你的邮箱