eosphoros-ai/DB-GPT

[BUG]: When using DB-GPT, with the continuous questioning, CUDA memory has been increasing until memory exploded

Offen

#147 geöffnet am 02.06.2023

Auf GitHub ansehenContributor Guide
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (2.879 Forks)batch import
enhancementgood first issue

Repository-Metriken

Stars
 (19.732 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 5T 22h) (5 gemergte PRs in 30 T)

Beschreibung

Follow the tutorial to deploy DB-GPT on the ubuntu machine, 24g single-card GPU. As I continued to ask questions, CUDA memory kept increasing until memory exploded. How to free video memory?

Contributor Guide

Research-Richtung
Verfolgen Sie die CUDA Speicherzuweisungen während der Modellinferenz, um zu identifizieren, welche Tensoren oder Zwischenergebnisse nicht freigegeben werden. Prüfen Sie auf beibehaltene Referenzen in der Konversationsschleife oder im Caching Mechanismus.
Tech Stack
python
Domain
backendai infra agents
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Python
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50