Qualcomm AI Engine Direct - fp16a8w quantization crashes on layer_norm
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 74/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- machine-learning, python
- Área
- compilers, machine-learning
Línea de trabajo
El fallo está en el anotador de LayerNorm en htp_rules.py, que lee input_act_qspec.dtype mientras get_fp16a8w_qnn_ptq_config establece input_activation en None. Reproduce el caso con un Linear seguido de LayerNorm usando make_quantizer(quant_dtype=QuantDtype.use_fp16a8w) y prepare_pt2e. Está terminado cuando esto se ejecuta sin AttributeError y la anotación coincide con la comprobación existente de None que usa el anotador de MatMul en el mismo archivo.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
get_fp16a8w_qnn_ptq_config sets input_activation=None, and the LayerNorm annotator in htp_rules.py reads input_act_qspec.dtype, so prepare_pt2e fails with AttributeError: 'NoneType' object has no attribute 'dtype'. Repro: Linear + LayerNorm with make_quantizer(quant_dtype=QuantDtype.use_fp16a8w).
Guarding it like MatMul does (if input_act_qspec is not None and input_act_qspec.dtype == torch.int32:) fixes annotation, verified with per-tensor and per-channel weights.
- Lenguaje dominante
- Python
- Estrellas
- 5.1k
- Forks
- 1.2k
- Merge medio
- 1 d 22 h
- PR fusionados (30 d)
- 675
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de pytorch/executorch
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
pytorch/executorch#24410 ·
Los mantenedores suelen responder en 1 día
-
enhancement triaged
Dificultad 2/5 Medio día Aptitud para principiantes 68/100
pytorch/executorch#21640 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
pytorch/executorch#24502 ·
Los mantenedores suelen responder en 1 día
-
Optimized le.Tensor_out returns b <= a for reverse-argument broadcastsPosiblemente ocupada @SofianElmotiem la tomó hace 2 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
pytorch/executorch#24485 ·
Los mantenedores suelen responder en 1 día
-
`install_executorch.sh` fails in a fresh uv virtual environment: `No module named pip`Posiblemente ocupada @mshr-h la tomó hace 2 días. Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
pytorch/executorch#24417 ·
Los mantenedores suelen responder en 1 día
Todos los issues de pytorch/executorch
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
area:docs documentation effort:M ready-for-agent
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
mczielinski/ob-analytics#423 ·
Los mantenedores suelen responder en 1 día
-
infra
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 3 días
-
documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
vllm-project/vllm-ascend#21033 ·
Los mantenedores suelen responder en 1 día