deepspeedai/DeepSpeed

GitHub で見る

DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

スター: 43.1k
フォーク: 5k
オープンの初心者向け issue: 11
索引済み issue: 1.2k
平均マージ: 5日 8時間
マージ済み PR（30日）: 120

主要言語: Python
ライセンス: Apache-2.0
最終 GitHub push: 2026年9月19日
最新の索引: 2026年9月20日
コントリビューションガイド: コントリビューションガイド
行動規範: 行動規範
初心者向けラベル: 初心者向けラベルは索引されていません

初心者向けすべて

オープンすべて

Universal checkpoint conversion only knows Adam's state keys, so a Muon checkpoint cannot be converted オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8608 · コメント 1 件 · 2026年9月20日に作成
[BUG]_prepare_fp32_grad_for_sub_group clears every parameter's gradient once per sub-group オープン

bug training

deepspeedai/DeepSpeed#8586 · 担当者 1 名 · 2026年9月18日に作成
init_inference rejects dtype=torch.int8 on every accelerator オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

deepspeedai/DeepSpeed#8577 · 2026年9月18日に作成
[BUG] Runtime configuration validation is bypassed under python -O オープン

難易度 3/5 1〜2日初心者へのやさしさ 68/100

deepspeedai/DeepSpeed#8572 · コメント 1 件 · 2026年9月17日に作成
2 tests fail: assert isinstance(model.llm[0], DistributedAttention) オープン

難易度 3/5 1〜2日初心者へのやさしさ 68/100

deepspeedai/DeepSpeed#8554 · 2026年9月16日に作成
[BUG] AutoTP checkpoint load raises AttributeError on a model containing nn.InstanceNorm1d オープン

難易度 2/5 1〜3時間初心者へのやさしさ 84/100

deepspeedai/DeepSpeed#8514 · 2026年9月14日に作成
[BUG] Python checkpoint writers fail to reload full ZeRO-3 state with default torch.load オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

deepspeedai/DeepSpeed#8500 · 2026年9月13日に作成
[BUG] ZeRO-3 ignores checkpoint tag when load_optimizer_states=False オープン

難易度 3/5 1〜2日初心者へのやさしさ 78/100

deepspeedai/DeepSpeed#8499 · 2026年9月13日に作成
Deprecate unused DeepSpeed features オープン

難易度 5/5 1週間以上初心者へのやさしさ 20/100

deepspeedai/DeepSpeed#8489 · コメント 6 件 · 2026年9月11日に作成
[BUG] Memory leak in loss backward when enabled torch activation checkpoint & zero3 & single-model-multi-branch network オープン

bug training

難易度 4/5 3〜5日初心者へのやさしさ 48/100

deepspeedai/DeepSpeed#8481 · 2026年9月11日に作成
Can't install in Python 3.14.6 with GCC オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8480 · コメント 1 件 · 2026年9月11日に作成
[Bug] AutoEP FP32 gradient clipping averages norms across ranks with different expert ownership オープン

bug training

難易度 4/5 3〜5日初心者へのやさしさ 32/100

deepspeedai/DeepSpeed#8475 · コメント 1 件 · 2026年9月10日に作成
[RFC] Enable Correct and High-Performance Muon Optimizer under ZeRO CPU Offload (Stage 1/2/3) オープン

難易度 5/5 1週間以上初心者へのやさしさ 25/100

deepspeedai/DeepSpeed#8463 · リアクション 1 件 · 2026年9月8日に作成
[FEATURE] Align decode fronts and trim dead zones in continuous batching オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8462 · 2026年9月8日に作成
[BUG] Do not silently ignore use_shared_prefill with continuous batching オープン

bug training

deepspeedai/DeepSpeed#8458 · コメント 2 件 · 担当者 1 名 · 2026年9月8日に作成
AutoTP loads module weights by hardcoded class name, so 219 of 233 transformers norm classes are silently left on meta オープン

難易度 4/5 3〜5日初心者へのやさしさ 45/100

deepspeedai/DeepSpeed#8447 · 2026年9月6日に作成
Default gradient_clipping divides every Muon update by its own norm, shrinking the step by a model-sized factor オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8439 · コメント 1 件 · 2026年9月6日に作成
Muon under AutoTP orthogonalizes each shard, so the update depends on the TP degree オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8437 · コメント 1 件 · 2026年9月6日に作成
ZeRO skips the optimizer step on gradient overflow without logging anything オープン

deepspeedai/DeepSpeed#8415 · リアクション 1 件 · 担当者 1 名 · 2026年9月4日に作成
[BUG] Curriculum data sampler checkpoints the global numpy RNG, not its own, so resume replays the sampling stream オープン

難易度 3/5 1〜2日初心者へのやさしさ 68/100

deepspeedai/DeepSpeed#8405 · 2026年9月3日に作成
ZeRO-3 HybridMegatron QKV layout mutations are not persisted オープン

難易度 3/5 1〜2日初心者へのやさしさ 74/100

deepspeedai/DeepSpeed#8391 · 2026年9月2日に作成
[BUG] set_norm_for_param_grad_in_gpu's grad_accum fallback is dead in both accumulation modes オープン

難易度 2/5 1〜3時間初心者へのやさしさ 76/100

deepspeedai/DeepSpeed#8371 · 2026年8月31日に作成
[Feature] Per-Head Muon: per-head Newton-Schulz orthogonalization for attention projections オープン

enhancement training

難易度 5/5 1週間以上初心者へのやさしさ 45/100

deepspeedai/DeepSpeed#8367 · コメント 5 件 · リアクション 4 件 · 2026年8月30日に作成
ZeRO-1/2 average_tensor serializes backward compute behind the preceding reduction オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8364 · コメント 4 件 · 2026年8月30日に作成
[BUG]Unfreed parameters and unnecessary peak memory in autoEP オープン

bug training

deepspeedai/DeepSpeed#8353 · コメント 1 件 · 担当者 1 名 · 2026年8月29日に作成
[BUG] DeepSpeed generation fails with a CPU/CUDA device mismatch when keep-module-on-host is enabled オープン

bug inference

難易度 4/5 3〜5日初心者へのやさしさ 52/100

deepspeedai/DeepSpeed#8338 · コメント 1 件 · 2026年8月28日に作成
HybridEngineRollout: synchronized early stopping across ZeRO-3 data-parallel ranks オープン

deepspeedai/DeepSpeed#8321 · コメント 5 件 · 担当者 1 名 · 2026年8月26日に作成
[REQUEST] XPU: register native pinned host memory with the device runtime (follow-up to #8283) オープン

deepspeedai/DeepSpeed#8315 · コメント 1 件 · リアクション 2 件 · 担当者 1 名 · 2026年8月25日に作成
HF transformers main injects 'embedding_rowwise' into tp_plan for tied-embedding models; AutoTP rejects the whole plan オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8290 · コメント 3 件 · リアクション 1 件 · 2026年8月22日に作成
Define affine IR for checkpointing オープン

enhancement

deepspeedai/DeepSpeed#8252 · コメント 16 件 · リアクション 1 件 · 担当者 1 名 · 2026年8月14日に作成
[RFC] Universal checkpoint: non-semantic per-parameter geometric shard map オープン

deepspeedai/DeepSpeed#8230 · コメント 10 件 · リアクション 1 件 · 担当者 1 名 · 2026年8月7日に作成
[REQUEST] OPSD Profile and improve HybridEngine rollout performance オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 45/100

deepspeedai/DeepSpeed#8197 · コメント 17 件 · リアクション 1 件 · 2026年7月31日に作成
[REQUEST] Dynamic/Adaptive Prefetching Window for ZeRO-3 オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8193 · コメント 3 件 · リアクション 1 件 · 2026年7月29日に作成
[RFC] Support sharding LM heads and adopting Online Softmax オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 25/100

deepspeedai/DeepSpeed#8173 · コメント 5 件 · リアクション 2 件 · 2026年7月24日に作成
Add logging support for better observability オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8140 · コメント 1 件 · 2026年7月14日に作成
DeepSpeed - Q3 Roadmap オープン

deepspeedai/DeepSpeed#8104 · コメント 6 件 · リアクション 9 件 · 担当者 5 名 · 2026年6月30日に作成
Consider adding a changelog to track version history オープン

難易度 1/5 1〜3時間初心者へのやさしさ 68/100

deepspeedai/DeepSpeed#8101 · コメント 1 件 · 2026年6月30日に作成
Exception type too broad in error handling オープン

難易度 4/5 3〜5日初心者へのやさしさ 42/100

deepspeedai/DeepSpeed#8093 · コメント 1 件 · 2026年6月26日に作成
zero.Init partitioning of large fused MoE-expert tensors spikes a single GPU (transient full materialization) -> OOM during load even when the sharded model fits オープン

難易度 5/5 1週間以上初心者へのやさしさ 45/100

deepspeedai/DeepSpeed#8085 · コメント 4 件 · 2026年6月22日に作成
Add type hints to public API functions オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#8074 · コメント 1 件 · 2026年6月17日に作成
EvoformerAttention should auto-detect CUTLASS instead of requiring CUTLASS_PATH オープン

難易度 4/5 3〜5日初心者へのやさしさ 52/100

deepspeedai/DeepSpeed#8001 · コメント 1 件 · 2026年5月8日に作成
[BUG]Loss connection to ranks オープン

bug training

難易度 4/5 3〜5日初心者へのやさしさ 45/100

deepspeedai/DeepSpeed#7991 · コメント 4 件 · 2026年5月4日に作成
[REQUEST] Add Trackio as a New Backend for Experiment Monitoring オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 55/100

deepspeedai/DeepSpeed#7964 · コメント 4 件 · 2026年4月9日に作成
[BUG] crashed training gpt model using 3d parallelization オープン

bug training

難易度 4/5 3〜5日初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#7922 · コメント 2 件 · 2026年3月25日に作成
[REQUEST] Put NVTX instrumentation in its own domain (and potentially categories) オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 48/100

deepspeedai/DeepSpeed#7912 · コメント 3 件 · 2026年3月18日に作成
Trouble running tests: Failed to find precompiled modules オープン

難易度 2/5 1〜3時間初心者へのやさしさ 74/100

deepspeedai/DeepSpeed#7909 · コメント 1 件 · リアクション 1 件 · 2026年3月17日に作成
Deepspeed zero 3 seems to save empty adapter_model.safetensors オープン

難易度 4/5 3〜5日初心者へのやさしさ 28/100

deepspeedai/DeepSpeed#7900 · コメント 1 件 · 2026年3月13日に作成
[RFC] SDMA-Based Collective Communication Backend for ZeRO-3 on AMD GPUs オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

deepspeedai/DeepSpeed#7884 · コメント 10 件 · リアクション 4 件 · 2026年3月4日に作成

deepspeedai/DeepSpeed

最新の 100 件のみ表示しています

新しい issue をメールで受け取る