MLR and vLLM conflict, code not runnable
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza con llm-models/mistral/mistral-7b/01_b_load_inference_vllm.py y compara sus dependencias con las versiones indicadas de mlflow, vllm, transformers y relacionadas. Ejecuta la importación en el entorno 15.4 LTS ML GPU después de reiniciar Python; se considera terminado cuando el ejemplo se puede ejecutar o se documenta una referencia actual y operativa.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hello, I know this is a bit old: llm-models/mistral/mistral-7b/01_b_load_inference_vllm.py, but I'm looking for example code snippets with VLLM working on DBR/MLR. Your markdown refers to MLR 14.0 GPU, which is no longer available, but even using 14.3 LTS ML GPU with the g5.4xlarge gives an error when trying to import vllm.
I've tried my hand at this and I can confirm that this:
%pip install mlflow==2.20.3 vllm==0.4.2 transformers==4.49.0 huggingface_hub==0.27.1 openai==1.65.4 cloudpickle==2.2.1
dbutils.library.restartPython()
Allows you to import vllm as LLM using it in 15.4 LTS ML GPU environment.
Do you have any currently operable examples of using VLLM on Databricks that I can reference?
- Lenguaje dominante
- Python
- Estrellas
- 370
- Forks
- 132
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/databricks-ml-examples
-
Dificultad 3/5 1-2 días Aptitud para principiantes 42/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100
-
Adding CORS to sampleAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
databricks/databricks-ml-examples#101 · 2 comentarios ·
-
GCP examplesAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/databricks-ml-examples#88 · 1 comentario ·
Todos los issues de databricks/databricks-ml-examples
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Deepak3699/Ai_Mentor#244 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
btclib-org/btclib-node#1880 ·
Los mantenedores suelen responder en 1 día
-
CONTRIBUTING.md: say how ticketless bug fixes and feature PRs are handledPosiblemente ocupada @khuisman la tomó hoy. Abiertov0.9.2
Dificultad 1/5 Menos de una hora Aptitud para principiantes 84/100
khuisman/mcp-gee-sweet#941 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
pyjanitor-devs/pyjanitor#1758 ·
Los mantenedores suelen responder en 1 día
-
bug ready for review
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
odysseus-dev/odysseus#6641 ·
Los mantenedores suelen responder en 1 día