Handling of `uv` cache for "big" packages
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- docker, python
- Ambito
- build-system, devops
Direzione di ricerca
Inizia con python-pytorch/Dockerfile intorno alla riga 10 e consulta la issue #279 per il contesto della directory della cache. Crea un’immagine torch verificando la posizione della cache di uv, il riutilizzo della cache e il comportamento dei symlink; il lavoro è completo quando le impostazioni proposte evitano il problema dello spazio /work e preservano il riutilizzo del pacchetto torch preinstallato, con il compromesso relativo alle dimensioni dell’immagine compreso.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
When installing torch (or other big package) in python image, we force uv to not use the cache (see https://github.com/InseeFrLab/images-datascience/blob/main/python-pytorch/Dockerfile#L10C33-L10C43). This means users who use uv for their project will have to download those packages again (even if there are already installed in the System python environment).
Moreover, the path of the cache directory in /work means that a lot of space is used for that cache, leading to "No space left" error (just installing torch occupies ~5Gb in cache).
One way to mitigate those issues would be :
- For torch images, remove the
--no-cacheflag onuv pip installcommands - Set cache directory for
uvoutside of/work - Set link-mode as
symlinkinstead of default
This should improve the experience for users using uv and the torch version installed when building the image, without degrading it for others.
One caveat is that the image size will increase significantly (+50%), leading to slower start time.
- Lingua principale
- Shell
- Stelle
- 43
- Fork
- 37
- Merge medio
- 4g 12h
- PR unite (30g)
- 10
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di InseeFrLab/images-datascience
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
InseeFrLab/images-datascience#438 · 3 commenti ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
InseeFrLab/images-datascience#407 ·
I maintainer di solito rispondono entro 3 giorni
-
migrate to aws config and credentials filesForse di nuovo libera @ihiverlet l’ha presa 548 giorni fa e non c’è nessuna pull request aperta. Aperta
InseeFrLab/images-datascience#262 · 2 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 3 giorni
-
Dependency DashboardAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
InseeFrLab/images-datascience#14 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di InseeFrLab/images-datascience
Issue simili
-
bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
chapel-lang/chapel-vscode#144 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 90/100
tsukumogami/tsuku#2804 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
obra/superpowers#2651 ·
I maintainer di solito rispondono entro 1 giorno