推理显存沾满了后，看到显存自动释放了，且推理还在继续，是怎么做到
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 25/100
- Issue-Typ
- Dokumentation
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- machine-learning
Rechercherichtung
Das Issue erwähnt MOSS-Inferenz und nvidia-smi, nennt aber keine Dateien, Tests oder Einstiegspunkte. Beginne damit, den Inferenzpfad und seine Handhabung des GPU-Speichers zu lokalisieren, und verfolge dann, was passiert, wenn die Speichernutzung die Kapazitätsgrenze erreicht. Als erledigt gilt die Dokumentation, wie Speicher freigegeben wird, während die Inferenz fortgesetzt wird, und wie dies einen Absturz verhindert.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
推理显存沾满了后，通过nvidia-smi，看到显存自动释放了，且推理还在继续，就解决了不会因为问题的变多，显存沾满，程序崩了，想问下，moss是怎么处理的，具体怎么做的，有清楚的吗，谢谢
- Vorherrschende Sprache
- Python
- Sterne
- 12.3k
- Forks
- 1.1k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus OpenMOSS/MOSS
-
windows的生成速度真的慢到令人发指Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100
-
version?Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 20/100
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 30/100
-
moss为什么不更新了Offen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 10/100
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
Ähnliche Issues
-
app: scripts status: backlog type: documentation
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
netbox-community/netbox-scripts#68 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 91/100
marin-community/marin#10765 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 70/100
flathub/com.unity.UnityHub#230 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
namespace operations
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 63/100
EclipseFdn/open-vsx.org#14910 ·
Maintainer antworten meist innerhalb von 1 Tag