Job Launchpad may need a protection against LFN sandbox
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
Direzione di ricerca
Leggi JobLaunchpadHandler.py intorno alla riga 201 e JobWrapper.py intorno alla riga 1127 per tracciare come gli LFN diventano download nella sandbox. Confronta dove potrebbero essere controllati il numero di file, il volume o lo spazio su disco disponibile. Il lavoro è completato quando un LFN di directory non può riempire il disco di un worker node senza essere rifiutato o limitato da una protezione esplicita.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
We had a case where
- A user used the DIRAC JobLaunchpad WebApp specifying a LFN
- The "LFN" specified was not a file, but a directory
- The job started downloading files under the directory, filling up the WN disk
- The site found the problem and closed the WN, then contacted us
JobLaunchpadHandler simply adds the specified LFNs to JDL
https://github.com/DIRACGrid/WebAppDIRAC/blob/9948d0ef327368ed1e502f41e029f91de3af121d/src/WebAppDIRAC/WebApp/handler/JobLaunchpadHandler.py#L201
JobWrapper simply passes the sandbox files with "LFN:" to DMS getFile
https://github.com/DIRACGrid/DIRAC/blob/fdfd3a4802a5543369d307cbbb3c0781f2f14219/src/DIRAC/WorkloadManagementSystem/JobWrapper/JobWrapper.py#L1127
Can there be some kind of protection to avoid this?
Preferably in JobLaunchpad, with the number of files, or with the total volume?
If that is difficult in the WebApp, then in JobWrapper where it can tell the disk space and the volume of the sandbox?
- Lingua principale
- JavaScript
- Stelle
- 8
- Fork
- 42
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Issue simili
-
agent/scanner bug hive/hosted-available-lke648397-260827-5n31
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
rescript-lang/rescript#8765 ·
I maintainer di solito rispondono entro 1 giorno
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
githubnext/gh-aw-workshop#4417 ·
I maintainer di solito rispondono entro 1 giorno
-
Good First Issue hacktoberfest
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
hiero-ledger/hiero-sdk-js#4489 ·
I maintainer di solito rispondono entro 1 giorno
-
Add: RiC FeedApertacheck:passed feeds:add
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 74/100
I maintainer di solito rispondono entro 9 giorni