MLR and vLLM conflict, code not runnable
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu với llm-models/mistral/mistral-7b/01_b_load_inference_vllm.py và so sánh các dependency của nó với các phiên bản mlflow, vllm, transformers và các phiên bản liên quan được liệt kê. Chạy import trong môi trường 15.4 LTS ML GPU sau khi khởi động lại Python; được xem là hoàn tất khi có thể chạy ví dụ hoặc đã ghi lại một tài liệu tham chiếu hiện tại, có thể sử dụng được.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hello, I know this is a bit old: llm-models/mistral/mistral-7b/01_b_load_inference_vllm.py, but I'm looking for example code snippets with VLLM working on DBR/MLR. Your markdown refers to MLR 14.0 GPU, which is no longer available, but even using 14.3 LTS ML GPU with the g5.4xlarge gives an error when trying to import vllm.
I've tried my hand at this and I can confirm that this:
%pip install mlflow==2.20.3 vllm==0.4.2 transformers==4.49.0 huggingface_hub==0.27.1 openai==1.65.4 cloudpickle==2.2.1
dbutils.library.restartPython()
Allows you to import vllm as LLM using it in 15.4 LTS ML GPU environment.
Do you have any currently operable examples of using VLLM on Databricks that I can reference?
- Ngôn ngữ chính
- Python
- Star
- 370
- Fork
- 132
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của databricks/databricks-ml-examples
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 42/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 55/100
-
Adding CORS to sampleĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
databricks/databricks-ml-examples#101 · 2 bình luận ·
-
GCP examplesĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
databricks/databricks-ml-examples#88 · 1 bình luận ·
Tất cả issue của databricks/databricks-ml-examples
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
GoogleCloudPlatform/gce-rescue#195 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 83/100
Maintainer thường phản hồi trong vòng 1 ngày
-
intake mcp-intake needs-ac needs-human-review priority:medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
Ikalus1988/MisakaNet#3848 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
521xueweihan/HelloGitHub#4105 ·
-
bug size:XS
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 83/100
Maintainer thường phản hồi trong vòng 1 ngày