Default Tensorflow binary does not work; outdated/incompatible cuDNN version
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- azure, jupyter-notebook, python, tensorflow
- Área
- devops, machine-learning
Línea de trabajo
Empieza por localizar la definición del entorno conda azureml_py38_PT_TF e inspeccionar las versiones incluidas de cuDNN y TensorFlow. Compáralas con las versiones de la solución alternativa reportada y, después, verifica el entorno con python3 -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"; se considera terminado cuando el entorno predeterminado puede cargar TensorFlow y detectar la GPU sin reemplazar cuDNN manualmente.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The azureml_py38_PT_TF conda environment is broken and doesn't work as the current (as of 17/05/2023) as the default cuDNN binary is version 6.1, which is not compatible with any version of tensorflow.
Current work around is to manually update the cuDNN binaries as below, using the link from Nvidia
export URL="CUDNN-8.6.0-LINK-FROM-NVIDIA-WEBSITE"
# ==== DOWNLOAD CUDDN ====
curl $URL -o ./cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz
sudo tar -xvf ./cudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xz
# ==== INSTALL CUDDN ====
sudo cp ./cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp -P ./cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
# ==== LINK UPDATED BINARIES ====
sudo ldconfig
# ==== INSTALL CONDA ENV ====
conda create -n "tfgpu" python=3.10 -y
conda activate tfgpu
conda install -c conda-forge cudatoolkit=11.8.0 ipykernel -y
python3 -m pip install nvidia-cudnn-cu11==8.6.0.163 tensorflow==2.12.*
mkdir -p $CONDA_PREFIX/etc/conda/activate.d
echo 'CUDNN_PATH=$(dirname $(python -c "import nvidia.cudnn;print(nvidia.cudnn.__file__)"))' >> $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA_PREFIX/lib/:$CUDNN_PATH/lib' >> $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
source $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
python3 -m ipykernel install --user --name tfgpu --display-name "Python (tf-cudnn8.6)"
# ==== VERIFY ====
python3 -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"
Is it possible to bump the included cuDNN version to get around this problem?
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 4.4k
- Forks
- 2.6k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Azure/MachineLearningNotebooks
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Azure/MachineLearningNotebooks#1975 · 1 comentario ·
-
duplicates Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machine Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
Azure/MachineLearningNotebooks#1987 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Azure/MachineLearningNotebooks#1985 · 1 comentario ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
Azure/MachineLearningNotebooks#1981 · 1 reacción ·
Todos los issues de Azure/MachineLearningNotebooks
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
NVIDIA/gpu-operator#2955 ·
-
agentic-workflows
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
automated issue report
Dificultad 1/5 1-3 horas Aptitud para principiantes 76/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
dsx-ai-factory/infra-controller#6694 ·
-
bug build
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
facebookincubator/velox#19143 ·