databricks/megablocks

誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示

• [RFC] Define accelerator-agnostic backend boundaries for core MoE operations

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#188 · コメント 2 件 · 2026年9月7日 に作成

• Energy Efficiency: 10 Mathematical Techniques for 60-70% AI Energy Reduction (Phi6Simple, FFT-Mix, Phi MoE)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 20/100

  databricks/megablocks#184 · 2026年3月27日 に作成

• Compatibility with CUDA 13.0

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 30/100

  databricks/megablocks#180 · コメント 1 件 · 2025年10月23日 に作成

• difference between cuda kernel code and using torch.ops

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 20/100

  databricks/megablocks#179 · 2025年9月22日 に作成

• Issue with Sparse MLP

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 35/100

  databricks/megablocks#178 · コメント 1 件 · 2025年8月14日 に作成

• MOE uses more memory than dense model and is slower

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#166 · コメント 1 件 · 2025年3月3日 に作成

• bump version for PyTorch 2.6

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 32/100

  databricks/megablocks#165 · リアクション 1 件 · 2025年2月26日 に作成

• [rank5]: TypeError: SortOp.forward() takes from 2 to 3 positional arguments but 5 were given When running moe script

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  databricks/megablocks#164 · 2025年2月8日 に作成

• Grouped GEMM execution not possible with HW

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#163 · コメント 2 件 · 2025年1月3日 に作成

• CUDA Error When Running Single GPU Experiment

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 30/100

  databricks/megablocks#161 · 2024年11月14日 に作成

• Is current megablocks compatible with distributed optimizer in Megatron-LM?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#160 · コメント 1 件 · 2024年11月11日 に作成

• amp_C undefined symbol after installing Megablocks

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  databricks/megablocks#157 · コメント 4 件 · 2024年10月11日 に作成

• Do you support the bias of mlp？

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#156 · コメント 1 件 · 2024年10月9日 に作成

• what devices are supported?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 28/100

  databricks/megablocks#155 · コメント 15 件 · 2024年10月8日 に作成

• Does it work with torch.compile?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#153 · コメント 2 件 · 2024年9月30日 に作成

• [Do not Merge] Add CI/CD Milestones

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#132 · 2024年8月1日 に作成

• Routing

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 30/100

  databricks/megablocks#118 · コメント 1 件 · 2024年6月27日 に作成

• Illegal memory access on non-0 cuda devices from `histogram`

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  databricks/megablocks#117 · 2024年6月25日 に作成

• Can we change self.blocking in dmoe.py from 128 to 64?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 1/5 1時間未満 初心者へのやさしさ 45/100

  databricks/megablocks#114 · コメント 2 件 · 2024年5月24日 に作成

• _LOAD_BALANCING_LOSS returns empty list sometimes

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#113 · コメント 1 件 · 2024年5月22日 に作成

• Bad throughput with GLU

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#110 · コメント 1 件 · 2024年5月17日 に作成

• 1-expert worse than dense model

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 20/100

  databricks/megablocks#107 · コメント 1 件 · 2024年5月8日 に作成

• OSError: Stale file handle with dMoE

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#106 · コメント 3 件 · リアクション 2 件 · 2024年4月24日 に作成

• Add a fine-tune script for JetMoE

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#105 · コメント 2 件 · リアクション 3 件 · 2024年4月17日 に作成

• ScatterMoE feature

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#104 · コメント 5 件 · 2024年4月5日 に作成

• Implement Mixture of Depth and Experts (MoDE)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 20/100

  databricks/megablocks#103 · コメント 2 件 · リアクション 1 件 · 2024年4月5日 に作成

• Import dmoe model into other training script?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 20/100

  databricks/megablocks#101 · コメント 3 件 · 2024年4月2日 に作成

• SFT Script and Hyperparameters used for DBRX-Instruct

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#99 · コメント 5 件 · 2024年3月28日 に作成

• support amd/rocm

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement help wanted

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  databricks/megablocks#97 · コメント 3 件 · 2024年3月21日 に作成

• AMP + BF16 failing

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  databricks/megablocks#95 · コメント 7 件 · 2024年1月28日 に作成

• the wrong loss func was chosen at evaluation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 55/100

  databricks/megablocks#93 · コメント 2 件 · 2024年1月18日 に作成

• Seeking a good multi-node training config

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#92 · コメント 3 件 · リアクション 1 件 · 2024年1月15日 に作成

• selective router precision

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  question

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#91 · コメント 1 件 · 2024年1月14日 に作成

• Does this framework support SFT?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  question

  難易度 5/5 1週間以上 初心者へのやさしさ 15/100

  databricks/megablocks#90 · コメント 2 件 · 2024年1月12日 に作成

• RuntimeError: Triton Error [CUDA]: invalid argument

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  question

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#88 · コメント 15 件 · 2024年1月10日 に作成

• different load_balancing_loss with different pipeline_parallel_size

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  question

  難易度 4/5 3〜5日 初心者へのやさしさ 35/100

  databricks/megablocks#85 · コメント 8 件 · 2024年1月5日 に作成

• How to integrate to transformers-based mixtral

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  question

  難易度 5/5 1週間以上 初心者へのやさしさ 20/100

  databricks/megablocks#84 · コメント 1 件 · 2024年1月3日 に作成

• ParallelDroplessMLP initialises self.mlp twice

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  enhancement help wanted

  難易度 2/5 1〜3時間 初心者へのやさしさ 48/100

  databricks/megablocks#83 · コメント 7 件 · リアクション 1 件 · 2024年1月1日 に作成

• Why the second matrix of the mlp layer has the same shape of the first one?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  question

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#81 · コメント 1 件 · 2023年12月29日 に作成

• [BUG] Optimizer Weights Not Reloaded When Training with bf16 Pretrained Weights

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 2/5 1〜3時間 初心者へのやさしさ 35/100

  databricks/megablocks#80 · コメント 1 件 · 2023年12月26日 に作成

• Script for Full Fine-Tuning of Mixtral

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  question

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#68 · コメント 1 件 · リアクション 4 件 · 2023年12月20日 に作成

• Docker issues with PyPI installation

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  databricks/megablocks#67 · コメント 3 件 · リアクション 1 件 · 2023年12月20日 に作成

• Comparison against top-2 routing?

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  question

  難易度 5/5 1週間以上 初心者へのやさしさ 25/100

  databricks/megablocks#49 · コメント 4 件 · 2023年12月8日 に作成