facebook/zstd

zstd fails to process some filenames on Windows [we need a hero]

Open

#3 882 ouverte le 24 janv. 2024

Voir sur GitHub
 (19 commentaires) (0 réactions) (0 assignés)C (2 481 forks)batch import
help wanted

Métriques du dépôt

Stars
 (27 100 stars)
Métriques de merge PR
 (Merge moyen 50m) (2 PRs mergées en 30 j)

Description

Windows 7 x64, zstd 1.5.5

$ dir /b
birds.txt
pájaros.txt
vögel.txt
птицы.txt

$ zstd *.*
zstd: can't stat pajaros.txt : No such file or directory -- ignored
zstd: can't stat vogel.txt : No such file or directory -- ignored
  2 files compressed : 85.71% (  3.00 KiB =>   2.57 KiB)
 
$ dir /b *.zst
birds.txt.zst
птицы.txt.zst

@Cyan4973 said zstd doesn't do anything special, it uses the C standard fopen() function. This should be naturally compatible with any utf-8 character set. But I suspect Windows does something different with the character set, so there might be a need to employ other non-portable Windows variants of > fopen for these scenarios.

Guide contributeur

Direction de recherche
Le problème est que zstd échoue à traiter les noms de fichiers contenant des caractères non ASCII sous Windows car il utilise la fonction fopen() standard du C, qui ne gère pas les noms de fichiers encodés en UTF 8 sur cette plateforme. La correction implique probablement l'utilisation de fonctions de fichiers spécifiques à Windows pour les caractères larges, comme wfopen() ou l'API plus récente CreateFileW(). Examinez le code source dans programs/fileio.c où l'ouverture des fichiers est gérée, et étudiez comment utiliser conditionnellement la fonction appropriée en fonction de la macro WIN32. Référez vous au commentaire du mainteneur dans l'issue pour obtenir des conseils.
Stack technique
c
Domaine
clitooling
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
CWindows API basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
45