uutils/coreutils

sort opens too many files

Chiusa

#5714 aperta il 24 dic 2023

Vedi su GitHubGuida contributor
 (13 commenti) (0 reazioni) (0 assegnatari)Rust (1981 fork)batch import
U - sortgood first issue

Metriche repository

Star
 (23.893 stelle)
Metriche merge PR
 (Merge medio 5g 23h) (239 PR mergiate in 30 g)

Descrizione

With our implementation:

mkdir -p in

for i in $(seq 5); do
  echo $i >in/$i
done

(seq 6 && echo 6) >exp
echo 6 >out
(exec 3<&- 4<&- 5<&- 6<&- 7</dev/null 8<&7 9<&7 &&
 ulimit -n 10 &&
 sort -n -m --batch-size=7 -o out out in/1 in/2 in/3 in/4 in/5 out
)

returns: sort: failed to open temporary file: Too many open files GNU works without issue

Tested by GNU in tests/sort/sort-merge-fdlimit.sh

Guida contributor

Direzione di ricerca
Esamina l'implementazione della fusione (merge) in src/uu/sort/. Il problema è che i descrittori di file non vengono riutilizzati in modo efficiente durante la fusione di più file di input. Indaga come GNU sort gestisce i limiti dei descrittori di file e considera l'implementazione di un pool di descrittori di file o la chiusura dei file temporanei dopo l'uso. Il caso di test da tests/sort/sort merge fdlimit.sh dovrebbe essere replicato per verificare la correzione.
Tech stack
rust
Dominio
cli
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Rust programmingunderstanding of file descriptor limits
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50