Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Improve Activation Scoring of Puzzletron

Đang mở
  • Có gì không ổn?
#1,820 0 bình luận 0 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

@Separius đang làm issue này rồi.

Từ ngày 25/6/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

feature request

Feature Request: Improve Activation Scoring of Puzzletron

Description

The current activation scoring implementation in Puzzletron has architectural limitations that hinder scalability, model support, and training efficiency. This request addresses three critical gaps: the lack of multi-hook execution, limited architectural support compared to Minitron, and missing distributed parallelization capabilities.

1. Multi-Hook Activation Scoring Runs

Currently, the system executes separate, suboptimal scoring rounds for individual hooks (e.g., one for FFN channel importance and another for query heads). This approach becomes entirely unmanageable with complex architectures like nemotron3-super, which require concurrent hooks for attention, Mamba, shared experts, individual expert channels, expert removal, and latent MoE. The scoring pipeline must be refactored to handle unified, multi-hook activation scoring within a single run to reduce redundant overhead.

2. Expanded Architecture Support

Puzzletron is currently limited to FFN channel scoring. In contrast, Minitron already includes mature support for Mamba layers and baseline capabilities for Mixture of Experts (MoE) layers. These existing layer-scoring features need to be ported directly from Minitron to Puzzletron to achieve feature parity and enable broader model profiling.

3. Comprehensive Distributed Parallelization

As model sizes scale and initial checkpoints utilize increasingly massive sequence lengths, Puzzletron requires robust distributed training infrastructure. We need to add full support for Expert Parallelism (EP), Tensor Parallelism (TP), Context Parallelism (CP), and Fully Sharded Data Parallel (FSDP). This should be achieved by introducing comprehensive AutoModel support that functions seamlessly under both configurations:

  • force_hf = True
  • force_hf = False
Business & Engineering Impact

Resolving these bottlenecks will significantly reduce the computational overhead of profiling next-generation architectures, unblock pruning workflows for MoE/Mamba models, and ensure our optimization tools scale to enterprise-level foundation checkpoints.

Ngôn ngữ chính
Python
Star
5.2k
Fork
736
Merge trung bình
4 ngày 2 giờ
Pull request đã merge (30 ngày)
160

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/Model-Optimizer

Tất cả issue của NVIDIA/Model-Optimizer

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.