Qualcomm AI Engine Direct - fp16a8w quantization crashes on layer_norm
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 2/5
- 预计耗时
- 1-3 小时
- 新手友好度
- 74/100
- Issue 类型
- 缺陷
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- machine-learning, python
调研方向
崩溃发生在 htp_rules.py 中的 LayerNorm 标注器里，它在 get_fp16a8w_qnn_ptq_config 将 input_activation 设为 None 的情况下读取 input_act_qspec.dtype。使用 make_quantizer(quant_dtype=QuantDtype.use_fp16a8w) 和 prepare_pt2e，以 Linear 后接 LayerNorm 的方式复现。完成标准是：运行时不再出现 AttributeError，且该标注与同一文件中 MatMul 标注器使用的现有 None 判断保持一致。
由索引模型根据 Issue 内容生成。
描述
get_fp16a8w_qnn_ptq_config sets input_activation=None, and the LayerNorm annotator in htp_rules.py reads input_act_qspec.dtype, so prepare_pt2e fails with AttributeError: 'NoneType' object has no attribute 'dtype'. Repro: Linear + LayerNorm with make_quantizer(quant_dtype=QuantDtype.use_fp16a8w).
Guarding it like MatMul does (if input_act_qspec is not None and input_act_qspec.dtype == torch.int32:) fixes annotation, verified with per-tensor and per-channel weights.
- 主要语言
- Python
- 星标
- 5.2k
- 派生
- 1.2k
- 平均合并
- 1 天 22 小时
- 30 天内合并 PR
- 675
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
pytorch/executorch 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 82/100
pytorch/executorch#24410 ·
维护者通常 1 天内回复
-
enhancement triaged
难度 2/5 半天 新手友好度 68/100
pytorch/executorch#21640 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 48/100
pytorch/executorch#24502 ·
维护者通常 1 天内回复
-
Optimized le.Tensor_out returns b <= a for reverse-argument broadcasts可能已有人在做 @SofianElmotiem 于 2 天前认领。 未关闭
难度 3/5 1-2 天 新手友好度 35/100
pytorch/executorch#24485 ·
维护者通常 1 天内回复
-
`install_executorch.sh` fails in a fresh uv virtual environment: `No module named pip`可能已有人在做 @mshr-h 于 3 天前认领。 未关闭
难度 3/5 1-2 天 新手友好度 45/100
pytorch/executorch#24417 ·
维护者通常 1 天内回复
查看 pytorch/executorch 的全部 Issue
相似的 Issue
-
fuzz fuzz-unconfirmed
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 1 天内回复
-
ready-for-agent
难度 2/5 1-3 小时 新手友好度 86/100
neilsh/stunt-reel#220 ·
维护者通常 1 天内回复
-
[Issue]: use_fp4_cache is accepted but ignored; the launcher always writes FP8 records可能已有人在做 @0z5a 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
area: cli priority: p3 size: S type: bug
难度 2/5 1-3 小时 新手友好度 83/100
finos/open-resource-broker#757 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 65/100
维护者通常 6 天内回复