Question regarding gradient checkpointing
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- jupyter-notebook, pytorch
- Área
- machine-learning, performance
Línea de trabajo
Start with pytorch_ipynb/mechanics/gradient-checkpointing-nin.ipynb and rerun the vanilla NiN and checkpointed experiments described in the issue, including the reported memory and runtime measurements. Compare the current results with the notebook's conclusion and determine whether the discrepancy is reproducible; done means explaining the difference or updating the experiment's conclusion.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hello,
I am trying to understand gradient checkpointing and found your explanation in gradient-checkpointing-nin.ipynb very helpful. I cloned the repo and tried rerunning the experiments. However, I was unable to reproduce the result mentioned in your conclusion.
When I run the notebook, for the vanilla NiN, my memory consumption (current, peak) are 413527 and 154049604, with runtime 109.1s.
For the checkpointed version (segments=1) of the model, the memory consumption are 402938 and 154064699, with runtime 110.14s.
From these tests, I was not able to observe a significant improvement in memory as the notebook states (22% memory improvement with 14% runtime sacrifice).
I've tried running with multiple seeds and checkpoint segment sizes, and was not able to see a significant memory improvement either.
I'm not sure why this is and could need a bit of help. Could this be due to the size of the network is relatively small and the effects are less obvious? Or could it be the checkpointing implementation from PyTorch has changed over the years? I would appreciate it if you could provide any insight in this.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 17.6k
- Forks
- 4.1k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de rasbt/deeplearning-models
-
Encoder weights initialized twice, decoder weights not initializedQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
rasbt/deeplearning-models#79 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
rasbt/deeplearning-models#78 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
rasbt/deeplearning-models#76 · 2 comentarios · 1 reacción ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
rasbt/deeplearning-models#63 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 15/100
rasbt/deeplearning-models#56 · 3 comentarios ·
Todos los issues de rasbt/deeplearning-models
Issues similares
-
[Platform][OpenAi] Non-streaming structured output parses commentary instead of final_answerAbiertoBug Platform Status: Needs Review
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
aws-samples/sample-aiml-security-assessment#90 ·
Los mantenedores suelen responder en 8 días
-
Categorical trees: error message and docstring state the wrong limit for categorical_featuresAbiertoNeeds Triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
scikit-learn/scikit-learn#35221 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100