Kaggle/docker-python

Can't install vllm, llama.cpp

Open

#1,369 opened on 2024幎3月9日

GitHub で芋る
 (0 comments) (0 reactions) (0 assignees)Python (946 forks)batch import
bughelp wanted

Repository metrics

Stars
 (2,260 stars)
PR merge metrics
 (平均マヌゞ 9h 18m) (30d で 3 merged PRs)

説明

🐛 Bug

Recently, CUDA has updated to12. However, I'm encountering errors when attempting to install VLLM and llama.cpp using pip. Could there be an issue with my CUDA installation? For reference, the error messages are: image image

To Reproduce

Expected behavior

Additional context

コントリビュヌタヌガむド

調査方針
Kaggle Docker Python むメヌゞにおける CUDA バヌゞョンず vllm および llama.cpp の互換性を確認しおください。Dockerfile を怜蚌し、CUDA 12 が適切に構成されおいるこずを確認しおください。vllm ず llama.cpp の CUDA 12 に関する既知の問題を探しおください。
技術スタック
python
領域
devopsinfrastructure
Issue 皮別
バグ
難床新しい貢献者にずっおの実装難床です。1 は非垞に小さな倉曎、5 は専門的な䜜業です。
2
掚定時間経隓ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3時間
掻動状況Issue が今どれだけ取り組みやすいかを瀺したす。新しい、掻発、叀い、ブロック䞭、たたはメンテナヌ入力埅ちなどです。
新着
明確さ期埅される倉曎、受け入れ条件、次の手順がどれだけ明確かを瀺したす。
おおむね明確
前提条件
DockerCUDA
初心者向け床初回貢献者にどれだけ取り組みやすいかを 1-100 で掚定したスコアです。
60