lllyasviel/ControlNet

Low VRAM tests (now 8GB ok, begin to solve 6gb)

Open

#3 ouverte le 11 févr. 2023

Voir sur GitHub
 (21 commentaires) (3 réactions) (0 assignés)Python (2 500 forks)batch import
help wanted

Métriques du dépôt

Stars
 (27 526 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 8.00 GiB total capacity; 7.14 GiB already allocated; 0 bytes free; 7.26 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

Guide contributeur

Direction de recherche
Étudiez l'allocation de mémoire dans PyTorch et identifiez les domaines où la mémoire peut être économisée, comme l'utilisation du gradient checkpointing, la réduction de la taille des lots ou l'optimisation des couches du modèle. Examinez l'utilisation actuelle de la mémoire avec nvidia smi et le profileur de mémoire de PyTorch. Explorez des paramètres comme max split size mb mentionnés dans l'erreur. L'objectif est de faire fonctionner le code sur des GPU de 6 Go.
Stack technique
pythonpytorch
Domaine
machine learningperformance
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorchCUDA basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40