Qualcomm AI Engine Direct - fp16a8w quantization crashes on layer_norm
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 74/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- machine-learning, python
- Ambito
- compilers, machine-learning
Direzione di ricerca
L'arresto anomalo si trova nell'annotatore LayerNorm in htp_rules.py, che legge input_act_qspec.dtype mentre get_fp16a8w_qnn_ptq_config imposta input_activation a None. Riproduci con un Linear seguito da LayerNorm usando make_quantizer(quant_dtype=QuantDtype.use_fp16a8w) e prepare_pt2e. È completato quando viene eseguito senza AttributeError e l'annotazione corrisponde al controllo None esistente usato dall'annotatore MatMul nello stesso file.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
get_fp16a8w_qnn_ptq_config sets input_activation=None, and the LayerNorm annotator in htp_rules.py reads input_act_qspec.dtype, so prepare_pt2e fails with AttributeError: 'NoneType' object has no attribute 'dtype'. Repro: Linear + LayerNorm with make_quantizer(quant_dtype=QuantDtype.use_fp16a8w).
Guarding it like MatMul does (if input_act_qspec is not None and input_act_qspec.dtype == torch.int32:) fixes annotation, verified with per-tensor and per-channel weights.
- Lingua principale
- Python
- Stelle
- 5.2k
- Fork
- 1.2k
- Merge medio
- 1g 22h
- PR unite (30g)
- 675
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di pytorch/executorch
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
pytorch/executorch#24410 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement triaged
Difficoltà 2/5 Mezza giornata Idoneità per principianti 68/100
pytorch/executorch#21640 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
pytorch/executorch#24502 ·
I maintainer di solito rispondono entro 1 giorno
-
Optimized le.Tensor_out returns b <= a for reverse-argument broadcastsForse già presa @SofianElmotiem l’ha presa 2 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
pytorch/executorch#24485 ·
I maintainer di solito rispondono entro 1 giorno
-
`install_executorch.sh` fails in a fresh uv virtual environment: `No module named pip`Forse già presa @mshr-h l’ha presa 3 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
pytorch/executorch#24417 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di pytorch/executorch
Issue simili
-
bug severity:low
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 2 giorni
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
githubnext/gh-aw-workshop#5367 ·
I maintainer di solito rispondono entro 3 giorni
-
OAuth documentation for GET /api/v2/users/me/ appears inconsistent with required global read scopeAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
Create Noise Latents ignores randomize_seed and produces the same noise every runForse già presa @griptapeops l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
griptape-ai/griptape-nodes-library-diffusers#127 ·
I maintainer di solito rispondono entro 1 giorno
-
Jenkins capacity report: metrics history is lost when archiving a month failsForse già presa @RaphaelFakhri l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
adoptium/infrastructure#4568 ·
I maintainer di solito rispondono entro 1 giorno