disable prefix on random for qwen3.5 & glm mi355 / 禁用 Qwen3.5 和 GLM MI355 上 random 的 prefix 缓存
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 55/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Tranquilla
- Stack tecnologico
- shell
- Ambito
- performance
Direzione di ricerca
Open benchmarks/single_node/qwen3.5_bf16_mi355x.sh, qwen3.5_fp8_mi355x.sh, and glm5_fp8_mi355x.sh. Compare the random-mode benchmark settings and identify the prefix-cache option. Done means random mode runs with prefix caching disabled in all three MI355X scripts.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
https://github.com/SemiAnalysisAI/InferenceX/blob/main/benchmarks/single_node/qwen3.5_bf16_mi355x.sh
https://github.com/SemiAnalysisAI/InferenceX/blob/main/benchmarks/single_node/qwen3.5_fp8_mi355x.sh
https://github.com/SemiAnalysisAI/InferenceX/blob/main/benchmarks/single_node/glm5_fp8_mi355x.sh
中文说明
需要在 MI355X 上的 Qwen3.5 BF16、Qwen3.5 FP8 和 GLM5 FP8 基准测试脚本中禁用 random 模式的 prefix 缓存。
- Lingua principale
- Python
- Stelle
- 1.9k
- Fork
- 343
- Merge medio
- 2g 40m
- PR unite (30g)
- 431
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di SemiAnalysisAI/InferenceX
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
SemiAnalysisAI/InferenceX#2125 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
SemiAnalysisAI/InferenceX#1587 ·
I maintainer di solito rispondono entro 1 giorno
-
[experimental chore/agentx-v0.2-aiperf-testing branch] agentic build_replay_cmd: missing --tokenizer-trust-remote-code breaks Kimi-K2.5 (and other custom-code tokenizer models) / agentic build_replay_cmd 缺少 --tokenizer-trust-remote-code 导致 Kimi-K2.5 等自定义 tokenizer 模型失败Forse di nuovo libera @sahil-bhatti-ai l’ha presa 171 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
SemiAnalysisAI/InferenceX#1369 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 76/100
SemiAnalysisAI/InferenceX#1359 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 Meno di un'ora Idoneità per principianti 18/100
SemiAnalysisAI/InferenceX#4655 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di SemiAnalysisAI/InferenceX
Issue simili
-
PluginProvider.storeInstance races and clobbers the dedup cache for concurrent loadsForse già presa @Wilson0511 l’ha presa oggi. Apertaneeds-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
I maintainer di solito rispondono entro 2 giorni
-
community documentation good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
bug(sdk): add_toleration_json silently drops camelCase tolerationSeconds for static dict/list inputForse già presa @ravikumar266 l’ha presa oggi. Apertaarea/sdk kind/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
kubeflow/pipelines#15347 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
predict_file with crop_model duplicates predictions once per imageForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
weecology/DeepForest#1445 ·