Default Tensorflow binary does not work; outdated/incompatible cuDNN version
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- azure, jupyter-notebook, python, tensorflow
- Lĩnh vực
- devops, machine-learning
Hướng nghiên cứu
Bắt đầu bằng cách tìm định nghĩa của môi trường conda azureml_py38_PT_TF và kiểm tra các phiên bản cuDNN và TensorFlow đi kèm. So sánh chúng với các phiên bản trong cách khắc phục được báo cáo, sau đó xác minh môi trường bằng python3 -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"; hoàn tất nghĩa là môi trường mặc định có thể tải TensorFlow và phát hiện GPU mà không cần thay thế cuDNN thủ công.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
The azureml_py38_PT_TF conda environment is broken and doesn't work as the current (as of 17/05/2023) as the default cuDNN binary is version 6.1, which is not compatible with any version of tensorflow.
Current work around is to manually update the cuDNN binaries as below, using the link from Nvidia
export URL="CUDNN-8.6.0-LINK-FROM-NVIDIA-WEBSITE"
# ==== DOWNLOAD CUDDN ====
curl $URL -o ./cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz
sudo tar -xvf ./cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz
# ==== INSTALL CUDDN ====
sudo cp ./cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp -P ./cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
# ==== LINK UPDATED BINARIES ====
sudo ldconfig
# ==== INSTALL CONDA ENV ====
conda create -n "tfgpu" python=3.10 -y
conda activate tfgpu
conda install -c conda-forge cudatoolkit=11.8.0 ipykernel -y
python3 -m pip install nvidia-cudnn-cu11==8.6.0.163 tensorflow==2.12.*
mkdir -p $CONDA_PREFIX/etc/conda/activate.d
echo 'CUDNN_PATH=$(dirname $(python -c "import nvidia.cudnn;print(nvidia.cudnn.__file__)"))' >> $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA_PREFIX/lib/:$CUDNN_PATH/lib' >> $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
source $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
python3 -m ipykernel install --user --name tfgpu --display-name "Python (tf-cudnn8.6)"
# ==== VERIFY ====
python3 -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"
Is it possible to bump the included cuDNN version to get around this problem?
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 4.4k
- Fork
- 2.6k
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của Azure/MachineLearningNotebooks
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Azure/MachineLearningNotebooks#1975 · 1 bình luận ·
-
duplicates Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machine Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
Azure/MachineLearningNotebooks#1987 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Azure/MachineLearningNotebooks#1985 · 1 bình luận ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
Azure/MachineLearningNotebooks#1981 · 1 reaction ·
Tất cả issue của Azure/MachineLearningNotebooks
Issue tương tự
-
kind/bug needs-triage
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
matrixorigin/matrixone#29223 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
copse-dev/agent-pane#2953 ·
-
bug ci-failure high priority
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
vllm-project/vllm-omni#7972 · 1 bình luận ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
simonw/sqlite-utils#872 ·
-
bug good first issue
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
amponce/archive-movie-browser#166 ·