Reduce memory overhead of `_deserialize_from_store`
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Observed behavior
When syncing large amounts of data and upon successful transfer, that data is deserialized into the store (_deserialize_from_store), memory usage often spikes.
Expected behavior
The behavior of _deserialize_from_store should reduce its memory usage by loading only the necessary data / models into memory.
User-facing consequences
In some online deployments with strict resource constraints, OOM killer may kill the process that is handling the deserialization.
- Lingua principale
- Python
- Stelle
- 15
- Fork
- 23
- Merge medio
- 1g 11h
- PR unite (30g)
- 4
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di learningequality/morango
-
DEV: dev-ops DEV: distributions DOCS: developer
Difficoltà 1/5 1-3 ore Idoneità per principianti 78/100
learningequality/morango#387 ·
-
DEV: backend DEV: dev-ops TAG: unit tests
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
learningequality/morango#385 ·
-
DEV: backend P0 - critical TAG: tech update / debt TAG: unit tests
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
learningequality/morango#364 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 12/100
learningequality/morango#391 ·
-
DEV: backend TAG: new feature
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
learningequality/morango#388 ·
Tutte le issue di learningequality/morango
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
aicell-lab/bioengine#232 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
modelscope/evalscope#1836 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
jbaruch/speaker-toolkit#480 ·
I maintainer di solito rispondono entro 1 giorno