facebook/zstd

zstd fails to process some filenames on Windows [we need a hero]

Open

#3882 aperta il 24 gen 2024

Vedi su GitHub
 (19 commenti) (0 reazioni) (0 assegnatari)C (2481 fork)batch import
help wanted

Metriche repository

Star
 (27.100 star)
Metriche merge PR
 (Merge medio 50m) (2 PR mergiate in 30 g)

Descrizione

Windows 7 x64, zstd 1.5.5

$ dir /b
birds.txt
pájaros.txt
vögel.txt
птицы.txt

$ zstd *.*
zstd: can't stat pajaros.txt : No such file or directory -- ignored
zstd: can't stat vogel.txt : No such file or directory -- ignored
  2 files compressed : 85.71% (  3.00 KiB =>   2.57 KiB)
 
$ dir /b *.zst
birds.txt.zst
птицы.txt.zst

@Cyan4973 said zstd doesn't do anything special, it uses the C standard fopen() function. This should be naturally compatible with any utf-8 character set. But I suspect Windows does something different with the character set, so there might be a need to employ other non-portable Windows variants of > fopen for these scenarios.

Guida contributor

Direzione di ricerca
Il problema è che zstd non riesce a elaborare i nomi di file con caratteri non ASCII su Windows perché utilizza la funzione fopen() standard del C, che non gestisce i nomi di file UTF 8 su quella piattaforma. La soluzione probabilmente comporta l'uso di funzioni di file specifiche di Windows per caratteri wide, come wfopen() o la più recente API CreateFileW(). Esamina il codice sorgente in programs/fileio.c dove viene gestita l'apertura dei file e studia come utilizzare in modo condizionale la funzione appropriata in base alla macro WIN32. Fai riferimento al commento del maintainer nell'issue per indicazioni.
Tech stack
c
Dominio
clitooling
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
CWindows API basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
45