decode & decode_iter 多线程会不会有问题
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 20/100
Direzione di ricerca
Inizia tracciando i punti di ingresso decode e decode_iter del modello e verificando come condividono lo stato quando vengono chiamati da più thread. Cerca nel repository test o documentazione esistenti sulla concorrenza; il lavoro sarà completato quando sarà disponibile una conclusione chiara e basata su evidenze sulla sicurezza rispetto ai thread, insieme agli eventuali aggiornamenti necessari ai test o alla documentazione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
如果多个线程同时使用model的 decode 和 decode_iter方法,会不会有问题?
- Lingua principale
- C++
- Stelle
- 752
- Fork
- 94
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di MegEngine/InferLLM
-
SG2042 服务器 make 出错 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
-
无法加载模型bin或者guff模型 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
有打算支持qwen吗 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
在树莓派3b+上部署,出现无法打开模型的问题 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100
-
这个有windows的部署教程吗 Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
Tutte le issue di MegEngine/InferLLM
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
ros2/message_filters#338 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
subsurface/subsurface#4984 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
flutter-webrtc/flutter-webrtc#2206 ·
-
litertlm-android AAR ships no consumer ProGuard rules → "mid == null" SIGABRT in minified apps Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
google-ai-edge/LiteRT-LM#3739 ·