Line-ending check: catch UTF-16 text that Git treats as binary

Ouverte
#57 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
Une demi-journée
Accessibilité débutants
62/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Active
Stack technique
git, python
Domaine
devtools

Piste de recherche

Start with tools/ci/check_line_endings.py and the output of git ls-files --eol, which the script already relies on to classify files as i/crlf, i/mixed or i/-text. For entries reported as i/-text whose extension is not a real binary type, read the first bytes and fail on a UTF-16/UTF-32 byte-order mark or on CR LF. Done when a temporary git repository test shows the script failing for a UTF-16 CR LF .txt file and passing for a .png.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

area: build-ci build

tools/ci/check_line_endings.py rejects files that git ls-files --eol reports as i/crlf or i/mixed. A file Git classifies as binary by content is reported as i/-text and passes, and that includes UTF-16 text (every ASCII character is followed by a NUL byte), with CR LF inside. Windows PowerShell 5.1 writes UTF-16 with CR LF by default (> and Out-File), so such a file is easy to commit by accident.

Nothing breaks today: the maps and vectors whose bytes matter are checked by SHA-256 in their own tests. It is only the UTF-8 / LF convention that can slip.

To do

  • For i/-text entries whose extension is not on a short list of real binary types, read the first bytes and fail on a UTF-16 / UTF-32 byte-order mark or on CR LF.
  • A CPU test: a temporary git repository with a UTF-16 CR LF .txt and a .png; the script must fail for the first file only.
Langage dominant
C++
Étoiles
12
Forks
2
Merge moyen
3 h 10 min
PR mergées (30 j)
171

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de phantoslayer21/wronggpu

Toutes les issues de phantoslayer21/wronggpu

Issues similaires

Plus d'issues C++

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.