Hacktoberfest 2026:メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

[JAX] Move quantization to before AG in MoEBlock

オープン
#2,998 コメント 0 件 リアクション 0 件 担当者 1 名 GitHub で見る

メンテナーはふだん 2 日以内に返信

@jberchtold-nvidia がすでに取り組んでいます。

2026年7月13日 から。

評価

この issue はまだ評価されていません。

説明

Current MoEBlock initial impl follows the same A2Av flow in maxtext where for FSDP, weights are AG then quantized before groupedGEMM happens. This is wasteful as the quantization kernel has to work with fsdp times the amount of data needed, which makes it about fsdp times slower. Need to move it to happen before AG.

主要言語
Python
スター
3.6k
フォーク
844
平均マージ
4日 55分
マージ済み PR(30日)
51

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

NVIDIA/TransformerEngine のほかの issue

NVIDIA/TransformerEngine の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。