Default Tensorflow binary does not work; outdated/incompatible cuDNN version
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- azure, jupyter-notebook, python, tensorflow
- Domaine
- devops, machine-learning
Piste de recherche
Commencez par localiser la définition de l’environnement conda azureml_py38_PT_TF et inspectez les versions intégrées de cuDNN et de TensorFlow. Comparez-les aux versions de la solution de contournement signalée, puis vérifiez l’environnement avec python3 -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))" ; c’est terminé lorsque l’environnement par défaut peut charger TensorFlow et détecter le GPU sans remplacer cuDNN manuellement.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
The azureml_py38_PT_TF conda environment is broken and doesn't work as the current (as of 17/05/2023) as the default cuDNN binary is version 6.1, which is not compatible with any version of tensorflow.
Current work around is to manually update the cuDNN binaries as below, using the link from Nvidia
export URL="CUDNN-8.6.0-LINK-FROM-NVIDIA-WEBSITE"
# ==== DOWNLOAD CUDDN ====
curl $URL -o ./cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz
sudo tar -xvf ./cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz
# ==== INSTALL CUDDN ====
sudo cp ./cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp -P ./cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
# ==== LINK UPDATED BINARIES ====
sudo ldconfig
# ==== INSTALL CONDA ENV ====
conda create -n "tfgpu" python=3.10 -y
conda activate tfgpu
conda install -c conda-forge cudatoolkit=11.8.0 ipykernel -y
python3 -m pip install nvidia-cudnn-cu11==8.6.0.163 tensorflow==2.12.*
mkdir -p $CONDA_PREFIX/etc/conda/activate.d
echo 'CUDNN_PATH=$(dirname $(python -c "import nvidia.cudnn;print(nvidia.cudnn.__file__)"))' >> $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA_PREFIX/lib/:$CUDNN_PATH/lib' >> $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
source $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
python3 -m ipykernel install --user --name tfgpu --display-name "Python (tf-cudnn8.6)"
# ==== VERIFY ====
python3 -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"
Is it possible to bump the included cuDNN version to get around this problem?
- Langage dominant
- Jupyter Notebook
- Étoiles
- 4.4k
- Forks
- 2.6k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de Azure/MachineLearningNotebooks
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Azure/MachineLearningNotebooks#1975 · 1 commentaire ·
-
duplicates Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machine Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 10/100
Azure/MachineLearningNotebooks#1987 ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
Azure/MachineLearningNotebooks#1985 · 1 commentaire ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
Azure/MachineLearningNotebooks#1981 · 1 réaction ·
Toutes les issues de Azure/MachineLearningNotebooks
Issues similaires
-
Solved site promotion gate fails on runner PHP patch drift (expects 8.2.33, runner installs 8.2.34) Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
Automattic/blocks-engine#2161 ·
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 60/100
github/gh-aw-mcpg#13748 ·
-
agentic-workflows
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
personalrobotics/tsr#128 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
Azure/azure-functions-docker#1257 ·