请问如何不使用vLLM进行推理呢
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 20/100
Hướng nghiên cứu
The issue requests guidance and reference code for inference without vLLM, but names no files, tests, or entry points. Start by locating the repository's Python inference entry point and existing vLLM integration; done would include a documented, working non-vLLM inference path with relevant code or examples.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
请问如何不使用vLLM进行推理呢，可否开源一份相关代码，借鉴参考下
- Ngôn ngữ chính
- Python
- Star
- 699
- Fork
- 51
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stepfun-ai/Step-Audio-R1
-
vllm branch name errorĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
stepfun-ai/Step-Audio-R1#5 · 2 bình luận · 2 reaction ·
-
Verify evals on Papers with CodeĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 48/100
stepfun-ai/Step-Audio-R1#23 ·
-
R1.5 模型开源Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
stepfun-ai/Step-Audio-R1#22 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
stepfun-ai/Step-Audio-R1#20 ·
-
realtime相关内容Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
stepfun-ai/Step-Audio-R1#19 · 2 bình luận ·
Tất cả issue của stepfun-ai/Step-Audio-R1
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-2 ngày Mức phù hợp với người mới 70/100
-
FingerprintSplitter raises ZeroDivisionError when int(frac_train * len(dataset)) floors to zeroĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 7 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
lmstudio-ai/mlx-engine#376 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pyiron/bagofholding#166 ·