Kaggle/docker-python

Can't install vllm, llama.cpp

Open

#1 369 ouverte le 9 mars 2024

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (946 forks)batch import
bughelp wanted

Métriques du dépôt

Stars
 (2 260 stars)
Métriques de merge PR
 (Merge moyen 9h 18m) (3 PRs mergées en 30 j)

Description

🐛 Bug

Recently, CUDA has updated to12. However, I'm encountering errors when attempting to install VLLM and llama.cpp using pip. Could there be an issue with my CUDA installation? For reference, the error messages are: image image

To Reproduce

Expected behavior

Additional context

Guide contributeur

Direction de recherche
Vérifiez la compatibilité de la version CUDA avec vllm et llama.cpp dans l'image Docker Python Kaggle. Validez le Dockerfile et assurez vous que CUDA 12 est correctement configuré. Recherchez les problèmes connus avec vllm et llama.cpp sur CUDA 12.
Stack technique
python
Domaine
devopsinfrastructure
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
DockerCUDA
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60