Code hangs during inference deployment with vLLM
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
Direzione di ricerca
Inizia dal punto di ingresso del deployment di vLLM e dalle route di launcher.py mostrate nei log, quindi riproduci il blocco usando l’output di avvio riportato. Identifica dove si interrompe l’avvio dopo “Application startup complete” e verifica che le richieste di inferenza vengano completate senza bloccarsi.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I encountered an issue where the code hangs during inference deployment with vLLM. How can I resolve this problem?
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:46] Route: /v1/chat/completions/batch, Methods: POST
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/audio/speech/stream, Endpoint: streaming_speech
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/video/chat/stream, Endpoint: streaming_video_chat
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/realtime/video, Endpoint: streaming_video_output
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/realtime, Endpoint: realtime_websocket
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/realtime/robot/openpi, Endpoint: realtime_robot_openpi
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/duplex, Endpoint: duplex_websocket
(APIServer pid=2311773) INFO: Started server process [2311773]
(APIServer pid=2311773) INFO: Waiting for application startup.
(APIServer pid=2311773) INFO: Application startup complete.
- Lingua principale
- Python
- Stelle
- 9.8k
- Fork
- 738
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di MiniMax-AI/MiniMax-H3
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 5/100
MiniMax-AI/MiniMax-H3#89 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 5/100
MiniMax-AI/MiniMax-H3#88 ·
-
،herAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
MiniMax-AI/MiniMax-H3#87 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
MiniMax-AI/MiniMax-H3#86 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 74/100
MiniMax-AI/MiniMax-H3#85 ·
Tutte le issue di MiniMax-AI/MiniMax-H3
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
task
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
danparshall/claude_researcher#87 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
datajoint/datajoint-python#1586 ·
I maintainer di solito rispondono entro 1 giorno
-
1D intercept of length 1 is accepted as `fix_params` in population GLM with more than 1 unitForse già presa @dhvani7014 l’ha presa oggi. Apertabug good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
flatironinstitute/nemos#642 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Broken links in the docsAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
uniswap-python/uniswap-python#487 ·