Kaggle/docker-python

Can't install vllm, llama.cpp

Open

#1369 aperta il 9 mar 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (946 fork)batch import
bughelp wanted

Metriche repository

Star
 (2260 star)
Metriche merge PR
 (Merge medio 9h 18m) (3 PR mergiate in 30 g)

Descrizione

🐛 Bug

Recently, CUDA has updated to12. However, I'm encountering errors when attempting to install VLLM and llama.cpp using pip. Could there be an issue with my CUDA installation? For reference, the error messages are: image image

To Reproduce

Expected behavior

Additional context

Guida contributor

Direzione di ricerca
Verifica la compatibilità della versione CUDA con vllm e llama.cpp nell'immagine Docker Python di Kaggle. Controlla il Dockerfile e assicurati che CUDA 12 sia configurato correttamente. Cerca problemi noti con vllm e llama.cpp su CUDA 12.
Tech stack
python
Dominio
devopsinfrastructure
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
DockerCUDA
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60