How to parse/tokenize only INDENT and DEDENT tokens?

Offen

#2 erstellt am 09.2.2021 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 35/100

Issue-Typ: Feature
Klarheit: Größtenteils klar
Aktivitätsstatus: Veraltet
Tech-Stack: javascript, typescript
Bereich: compilers, performance

Rechercherichtung

Beginne mit dem Lesen der Implementierung von getAllTokens sowie der von dt-python-parser verwendeten Parser-/Tokenizer-Einstiegspunkte. Führe einen Benchmark für das Tokenisieren einer Python-Datei mit 5.000 Zeilen durch und konzentriere dich dabei auf die als Token-Typen 93 und 94 identifizierten INDENT- und DEDENT-Positionen; die Aufgabe ist erledigt, wenn diese Positionen mit einer deutlich kürzeren Wartezeit als bei getAllTokens zurückgegeben werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Hello, I'm working on my VS Code extension, blockman, it renders blocks based on nested code blocks to make it easier to visually perceive the code.

video:
https://youtu.be/2Ajh8WQJvHs

The "dt-python-parser" package works really well, I use "getAllTokens" function to get all the tokens from python text file and then filter only type 93 (INDENT) and type 94 (DEDENT).

I need only INDENT and DEDENT locations, nothing more, but the "getAllTokens" function tokenizes everything and therefore losing much time, so if the file has more than 1000 lines, like 5000 lines or so, getAllTokens function takes many seconds to return the value, so rendering blocks take more time and waiting is not very comfortable for a user.

So, for the optimization, can I use the parser/tokenizer in such way that it would parse only INDENT/DEDENT locations and nothing more?

Vorherrschende Sprache: JavaScript
Sterne: 25
Forks: 7
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus DTStack/dt-python-parser

:= operator is valid in Python 3.13.0 but fails parsing with DT Python Parser Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 48/100

DTStack/dt-python-parser#28 · Erstellt am 27.7.2025
Use dt-python-parser client-side in a browser ? Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

DTStack/dt-python-parser#27 · 1 Kommentar · Erstellt am 31.10.2023
Problem when using listener mode Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100

DTStack/dt-python-parser#26 · Erstellt am 16.9.2023
lexer freezes on this Python code Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100

DTStack/dt-python-parser#24 · 1 Kommentar · Erstellt am 22.6.2023
Python Code Generator and Tree-Rewrite Engine for Python Parser Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

DTStack/dt-python-parser#15 · 3 Kommentare · Erstellt am 09.4.2022

Alle Issues in DTStack/dt-python-parser