Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

How to parse/tokenize only INDENT and DEDENT tokens?

Ouverte
#2 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
35/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
javascript, typescript
Domaine
compilers, performance

Piste de recherche

Commencez par lire l’implémentation de getAllTokens ainsi que les points d’entrée du parser/tokenizer utilisés par dt-python-parser. Effectuez un benchmark de la tokenisation d’un fichier Python de 5 000 lignes, en vous concentrant sur les emplacements de INDENT et DEDENT identifiés comme les types de token 93 et 94 ; le travail est considéré comme terminé lorsque ces emplacements sont renvoyés avec un temps d’attente sensiblement inférieur à celui de getAllTokens.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Hello, I'm working on my VS Code extension, blockman, it renders blocks based on nested code blocks to make it easier to visually perceive the code.

video:
https://youtu.be/2Ajh8WQJvHs

The "dt-python-parser" package works really well, I use "getAllTokens" function to get all the tokens from python text file and then filter only type 93 (INDENT) and type 94 (DEDENT).

I need only INDENT and DEDENT locations, nothing more, but the "getAllTokens" function tokenizes everything and therefore losing much time, so if the file has more than 1000 lines, like 5000 lines or so, getAllTokens function takes many seconds to return the value, so rendering blocks take more time and waiting is not very comfortable for a user.

So, for the optimization, can I use the parser/tokenizer in such way that it would parse only INDENT/DEDENT locations and nothing more?

Langage dominant
JavaScript
Étoiles
25
Forks
7
Aucune PR mergée en 30 j

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de DTStack/dt-python-parser

Toutes les issues de DTStack/dt-python-parser

Issues similaires

Plus d'issues JavaScript

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.