uutils/coreutils

sort opens too many files

Geschlossen

#5.714 geöffnet am 24.12.2023

Auf GitHub ansehenContributor Guide
 (13 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Rust (1.981 Forks)batch import
U - sortgood first issue

Repository-Metriken

Stars
 (23.893 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 5T 23h) (239 gemergte PRs in 30 T)

Beschreibung

With our implementation:

mkdir -p in

for i in $(seq 5); do
  echo $i >in/$i
done

(seq 6 && echo 6) >exp
echo 6 >out
(exec 3<&- 4<&- 5<&- 6<&- 7</dev/null 8<&7 9<&7 &&
 ulimit -n 10 &&
 sort -n -m --batch-size=7 -o out out in/1 in/2 in/3 in/4 in/5 out
)

returns: sort: failed to open temporary file: Too many open files GNU works without issue

Tested by GNU in tests/sort/sort-merge-fdlimit.sh

Contributor Guide

Research-Richtung
Betrachten Sie die Merge Implementierung in src/uu/sort/. Das Problem ist, dass Dateideskriptoren beim Zusammenführen mehrerer Eingabedateien nicht effizient wiederverwendet werden. Untersuchen Sie, wie GNU sort mit Dateideskriptor Grenzen umgeht, und erwägen Sie die Implementierung eines Pools von Dateideskriptoren oder das Schließen temporärer Dateien nach der Verwendung. Der Testfall aus tests/sort/sort merge fdlimit.sh sollte repliziert werden, um die Korrektur zu überprüfen.
Tech Stack
rust
Domain
cli
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Rust programmingunderstanding of file descriptor limits
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50