Improve Activation Scoring of Puzzletron
メンテナーはふだん 2 日以内に返信
@Separius がすでに取り組んでいます。
2026年6月25日 から。
評価
この issue はまだ評価されていません。
説明
Feature Request: Improve Activation Scoring of Puzzletron
Description
The current activation scoring implementation in Puzzletron has architectural limitations that hinder scalability, model support, and training efficiency. This request addresses three critical gaps: the lack of multi-hook execution, limited architectural support compared to Minitron, and missing distributed parallelization capabilities.
1. Multi-Hook Activation Scoring Runs
Currently, the system executes separate, suboptimal scoring rounds for individual hooks (e.g., one for FFN channel importance and another for query heads). This approach becomes entirely unmanageable with complex architectures like nemotron3-super, which require concurrent hooks for attention, Mamba, shared experts, individual expert channels, expert removal, and latent MoE. The scoring pipeline must be refactored to handle unified, multi-hook activation scoring within a single run to reduce redundant overhead.
2. Expanded Architecture Support
Puzzletron is currently limited to FFN channel scoring. In contrast, Minitron already includes mature support for Mamba layers and baseline capabilities for Mixture of Experts (MoE) layers. These existing layer-scoring features need to be ported directly from Minitron to Puzzletron to achieve feature parity and enable broader model profiling.
3. Comprehensive Distributed Parallelization
As model sizes scale and initial checkpoints utilize increasingly massive sequence lengths, Puzzletron requires robust distributed training infrastructure. We need to add full support for Expert Parallelism (EP), Tensor Parallelism (TP), Context Parallelism (CP), and Fully Sharded Data Parallel (FSDP). This should be achieved by introducing comprehensive AutoModel support that functions seamlessly under both configurations:
force_hf = Trueforce_hf = False
Business & Engineering Impact
Resolving these bottlenecks will significantly reduce the computational overhead of profiling next-generation architectures, unblock pruning workflows for MoE/Mamba models, and ensure our optimization tools scale to enterprise-level foundation checkpoints.
- 主要言語
- Python
- スター
- 5.3k
- フォーク
- 745
- 平均マージ
- 4日 2時間
- マージ済み PR（30日）
- 160
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA/Model-Optimizer のほかの issue
-
[Bug] modelopt-mcp: all launcher subprocesses hang when the server runs as a stdio MCP server — missing stdin=DEVNULL対応中かも @ChenhanYu が 13 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
NVIDIA/Model-Optimizer#2551 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
Puzzletron Progress 6/8 (calculating one block scores) takes 10 to 20 times more than in tutorial再び着手できるかも @tejasng053 が 20 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
NVIDIA/Model-Optimizer#1667 ·
メンテナーはふだん 2 日以内に返信
-
fp4_kernel_hopper.py uses tl.make_block_ptr, which is removed in Triton main (breaks NVFP4 fake quant)対応中かも @kinjalpatel27 が今日担当しました。 オープン
難易度 3/5 半日 初心者へのやさしさ 72/100
NVIDIA/Model-Optimizer#2810 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
test_cast_fp4_impl_gpu_mem is flaky on Jetson Thor: mem_get_info reports system-wide memory on integrated GPUs対応中かも @LinCanNerd が 8 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 25/100
NVIDIA/Model-Optimizer#2706 ·
メンテナーはふだん 2 日以内に返信
-
test_cuda_pack_reconstruction_matches_pytorch_at_scale[iq1_m] fails on Jetson Thor: exact ties exceed the blocks // 1000 bound対応中かも @LinCanNerd が 8 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
NVIDIA/Model-Optimizer#2705 ·
メンテナーはふだん 2 日以内に返信
NVIDIA/Model-Optimizer の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
common-workflow-language/cwl-utils#477 ·
メンテナーはふだん 1 日以内に返信
-
Add dependabotオープンfeat
難易度 2/5 1時間未満 初心者へのやさしさ 72/100
open-nudge/opentemplate#204 ·
メンテナーはふだん 1 日以内に返信
-
github-stale-ci-pr-closer: KV state is double-wrapped, never persists, and hits the depth-32 limit対応中かも @VascoSch92 が今日担当しました。 オープンpriority:medium ready-for-dev
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
OpenHands/extensions#781 ·
メンテナーはふだん 1 日以内に返信
-
bug good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
curriculum documentation quality
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
githubnext/gh-aw-workshop#4638 ·
メンテナーはふだん 1 日以内に返信