eosphoros-ai/DB-GPT

[BUG]: When using DB-GPT, with the continuous questioning, CUDA memory has been increasing until memory exploded

Aperta

#147 aperta il 2 giu 2023

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (0 assegnatari)Python (2884 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (19.758 stelle)
Metriche merge PR
 (Merge medio 5g 22h) (5 PR mergiate in 30 g)

Descrizione

Follow the tutorial to deploy DB-GPT on the ubuntu machine, 24g single-card GPU. As I continued to ask questions, CUDA memory kept increasing until memory exploded. How to free video memory?

Guida contributor

Direzione di ricerca
Traccia le allocazioni di memoria CUDA durante l'inferenza del modello per identificare quali tensori o risultati intermedi non vengono liberati. Controlla i riferimenti trattenuti nel loop di conversazione o nel meccanismo di caching.
Tech stack
python
Dominio
backendai infra agents
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50