eosphoros-ai/DB-GPT

[BUG]: When using DB-GPT, with the continuous questioning, CUDA memory has been increasing until memory exploded

Ouverte

#147 ouverte le 2 juin 2023

Voir sur GitHubGuide contributeur
 (2 commentaires) (0 réaction) (0 personne assignée)Python (2 879 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (19 732 étoiles)
Métriques de merge PR
 (Merge moyen 5j 22h) (5 PRs mergées en 30 j)

Description

Follow the tutorial to deploy DB-GPT on the ubuntu machine, 24g single-card GPU. As I continued to ask questions, CUDA memory kept increasing until memory exploded. How to free video memory?

Guide contributeur

Direction de recherche
Tracez les allocations mémoire CUDA lors de l'inférence du modèle pour identifier les tenseurs ou résultats intermédiaires non libérés. Vérifiez les références conservées dans la boucle de conversation ou le mécanisme de mise en cache.
Stack technique
python
Domaine
backendai infra agents
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50