Document token spacing

Ouverte
  • Quelque chose ne va pas ?
#1,983 0 commentaires 1 réaction 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
28/100
Type d'issue
Documentation
Clarté
À clarifier
Activité
À l'abandon
Stack technique
rust
Domaine
documentation

Piste de recherche

Commencez par le chapitre du lexer et la section existante macro.proc.token.conversion.from-proc_macro, puis examinez dans rustc_parse/src/parser/mod.rs la zone autour de break_and_eat. Comparez le traitement des tokens joints dans le résumé de la syntaxe avec les motifs de référence et les opérateurs d’emprunt, et consultez les issues et pull requests liées. Le travail est terminé lorsque la Reference définit clairement l’espacement des tokens, leur séparation ou leur fusion, ainsi que les limites entre le lexer et le parser.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

A-grammar A-lexer

I think the behavior around token splitting should be documented in some way, though I'm uncertain exactly how. The general idea is that the lexer chapter defines tokens, such as <-, which are then split in certain situations to smaller tokens. AFAIK, the reference doesn't really define how this works. I also don't know how much of this is part of the lexer versus the parser. I suspect it needs to be addressed in both depending on which approach we take.

A question I have is whether it should be documented as tokens being split, or tokens being glued, since I could imagine either approach is viable.

I think in rustc, currently the primary method that is used to handle this is break_and_eat. However, I may be misremembering if there are other places where this is handled.

IIUC, the places where this splitting happens is somewhat arbitrary, in terms of places where people thought it would be helpful. There's nothing that prevents the parser from avoiding those splitting methods.

There is a brief mention in macro.proc.token.conversion.from-proc_macro how proc-macro output is glued/split. The proc-macro Spacing type briefly touches on it as well.

Note that reference patterns and borrow operators specifically include the && token in their grammar. I don't remember the exact details about why we did it that way (that is, why did we do this just for && and no other token?). Depending on how we approach this, we may need to consider how that might need to change.

Note that I included some of the jointed tokens in the syntax summary. We may want to remove some. For example, I have >>= and >= linking to generics.

Some relevant links:

Langage dominant
Rust
Étoiles
1.6k
Forks
618
Merge moyen
5 h 48 min
PR mergées (30 j)
3

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de rust-lang/reference

Toutes les issues de rust-lang/reference

Issues similaires

Plus d'issues Rust

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.