Improve Activation Scoring of Puzzletron
Los mantenedores suelen responder en 2 días
@Separius ya está trabajando en esto.
Desde el 25/6/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Feature Request: Improve Activation Scoring of Puzzletron
Description
The current activation scoring implementation in Puzzletron has architectural limitations that hinder scalability, model support, and training efficiency. This request addresses three critical gaps: the lack of multi-hook execution, limited architectural support compared to Minitron, and missing distributed parallelization capabilities.
1. Multi-Hook Activation Scoring Runs
Currently, the system executes separate, suboptimal scoring rounds for individual hooks (e.g., one for FFN channel importance and another for query heads). This approach becomes entirely unmanageable with complex architectures like nemotron3-super, which require concurrent hooks for attention, Mamba, shared experts, individual expert channels, expert removal, and latent MoE. The scoring pipeline must be refactored to handle unified, multi-hook activation scoring within a single run to reduce redundant overhead.
2. Expanded Architecture Support
Puzzletron is currently limited to FFN channel scoring. In contrast, Minitron already includes mature support for Mamba layers and baseline capabilities for Mixture of Experts (MoE) layers. These existing layer-scoring features need to be ported directly from Minitron to Puzzletron to achieve feature parity and enable broader model profiling.
3. Comprehensive Distributed Parallelization
As model sizes scale and initial checkpoints utilize increasingly massive sequence lengths, Puzzletron requires robust distributed training infrastructure. We need to add full support for Expert Parallelism (EP), Tensor Parallelism (TP), Context Parallelism (CP), and Fully Sharded Data Parallel (FSDP). This should be achieved by introducing comprehensive AutoModel support that functions seamlessly under both configurations:
force_hf = Trueforce_hf = False
Business & Engineering Impact
Resolving these bottlenecks will significantly reduce the computational overhead of profiling next-generation architectures, unblock pruning workflows for MoE/Mamba models, and ensure our optimization tools scale to enterprise-level foundation checkpoints.
- Lenguaje dominante
- Python
- Estrellas
- 5.2k
- Forks
- 736
- Merge medio
- 3 d 14 h
- PR fusionados (30 d)
- 160
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de NVIDIA/Model-Optimizer
-
[Bug] modelopt-mcp: all launcher subprocesses hang when the server runs as a stdio MCP server — missing stdin=DEVNULLPosiblemente ocupada @ChenhanYu la tomó hace 11 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
NVIDIA/Model-Optimizer#2551 · 1 comentario · 1 asignado ·
Los mantenedores suelen responder en 2 días
-
Puzzletron Progress 6/8 (calculating one block scores) takes 10 to 20 times more than in tutorialQuizá libre de nuevo @tejasng053 la tomó hace 18 días y no hay ningún pull request abierto. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
NVIDIA/Model-Optimizer#1667 ·
Los mantenedores suelen responder en 2 días
-
test_cast_fp4_impl_gpu_mem is flaky on Jetson Thor: mem_get_info reports system-wide memory on integrated GPUsPosiblemente ocupada @LinCanNerd la tomó hace 6 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100
NVIDIA/Model-Optimizer#2706 ·
Los mantenedores suelen responder en 2 días
-
test_cuda_pack_reconstruction_matches_pytorch_at_scale[iq1_m] fails on Jetson Thor: exact ties exceed the blocks // 1000 boundPosiblemente ocupada @LinCanNerd la tomó hace 6 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
NVIDIA/Model-Optimizer#2705 ·
Los mantenedores suelen responder en 2 días
-
Support activation-only scale search for PyTorch AWQ calibrationPosiblemente ocupada @meenchen la tomó hace 8 días. Abierto
NVIDIA/Model-Optimizer#2674 · 1 asignado ·
Los mantenedores suelen responder en 2 días
Todos los issues de NVIDIA/Model-Optimizer
Issues similares
-
Agentic
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Imbad0202/academic-research-skills#979 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
reflex-dev/reflex#7561 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
prometheus-community/ansible#906 · 2 comentarios ·