使用100%A100运行报错
まだ誰も着手していません。
評価
調査の方向性
A100 100% の vLLM デプロイメントを再現し、動作している A100 50% のセットアップと比較します。まず model_runner_base.py と launcher.py のログエントリを確認し、ダンプされた /tmp/err_execute_model_input_20250303-212517.pkl ファイルを調査して、ProcessGroupNCCL の警告を確認します。サーバー終了の原因を特定し、失敗している設定を文書化または修正できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
背景 使用100%A100 用vllm部署
INFO 03-03 21:25:17 model_runner_base.py:120] Writing input of failed execution to /tmp/err_execute_model_input_20250303-212517.pkl... INFO 03-03 21:25:17 model_runner_base.py:149] Completed writing input of failed execution to /tmp/err_execute_model_input_20250303-212517.pkl. CRITICAL 03-03 21:25:17 launcher.py:99] MQLLMEngine is already dead, terminating server process INFO: 127.0.0.1:44754 - "POST /v1/chat/completions HTTP/1.1" 500 Internal Server Error INFO: Shutting down INFO: Waiting for application shutdown. INFO: Application shutdown complete. INFO: Finished server process [39513] [rank0]:[W303 21:25:18.275990903 ProcessGroupNCCL.cpp:1250] Warning: WARNING: process group has NOT been destroyed before we destruct ProcessGroupNCCL. On normal program exit, the application should call destroy_process_group to ensure that any pending NCCL operations have finished in this process. In rare cases this process can exit before this point and block the progress of another member of the process group. This constraint has always been present, but this warning has only been added since PyTorch 2.4 (function operator())
报错。
同样的步骤使用50% A100 正常运行
- 主要言語
- Python
- スター
- 2k
- フォーク
- 1.5k
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
InternLM/Tutorial のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 65/100
-
test オープン
難易度 5/5 1週間以上 初心者へのやさしさ 1/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
-
XTuner 微调报错 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 20/100
InternLM/Tutorial の issue をすべて見る
似ている issue
-
bug confirmed issue
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
open-webui/open-webui#30750 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 90/100