使用100%A100运行报错

Đang mở
#3,008 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
30/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
ai, backend

Hướng nghiên cứu

Tái hiện triển khai vLLM với 100% A100 và so sánh với thiết lập 50% A100 đang hoạt động. Bắt đầu với các mục nhật ký của model_runner_base.py và launcher.py, kiểm tra tệp đã dump /tmp/err_execute_model_input_20250303-212517.pkl và kiểm tra cảnh báo ProcessGroupNCCL. Hoàn thành nghĩa là xác định được nguyên nhân máy chủ bị kết thúc và lập tài liệu hoặc sửa cấu hình bị lỗi.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

背景 使用100%A100 用vllm部署
INFO 03-03 21:25:17 model_runner_base.py:120] Writing input of failed execution to /tmp/err_execute_model_input_20250303-212517.pkl... INFO 03-03 21:25:17 model_runner_base.py:149] Completed writing input of failed execution to /tmp/err_execute_model_input_20250303-212517.pkl. CRITICAL 03-03 21:25:17 launcher.py:99] MQLLMEngine is already dead, terminating server process INFO: 127.0.0.1:44754 - "POST /v1/chat/completions HTTP/1.1" 500 Internal Server Error INFO: Shutting down INFO: Waiting for application shutdown. INFO: Application shutdown complete. INFO: Finished server process [39513] [rank0]:[W303 21:25:18.275990903 ProcessGroupNCCL.cpp:1250] Warning: WARNING: process group has NOT been destroyed before we destruct ProcessGroupNCCL. On normal program exit, the application should call destroy_process_group to ensure that any pending NCCL operations have finished in this process. In rare cases this process can exit before this point and block the progress of another member of the process group. This constraint has always been present, but this warning has only been added since PyTorch 2.4 (function operator())
报错。
同样的步骤使用50% A100 正常运行

Ngôn ngữ chính
Python
Star
2k
Fork
1.5k
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của InternLM/Tutorial

Tất cả issue của InternLM/Tutorial

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.