How to parse/tokenize only INDENT and DEDENT tokens?
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Funcionalidade
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Stack de tecnologia
- javascript, typescript
- Domínio
- compilers, performance
Direção de pesquisa
Comece lendo a implementação de getAllTokens e os pontos de entrada do parser/tokenizer usados pelo dt-python-parser. Faça um benchmark da tokenização de um arquivo Python de 5.000 linhas, concentrando-se nas localizações de INDENT e DEDENT identificadas como os tipos de token 93 e 94; considera-se concluído quando essas localizações forem retornadas com uma espera substancialmente menor do que com getAllTokens.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Hello, I'm working on my VS Code extension, blockman, it renders blocks based on nested code blocks to make it easier to visually perceive the code.
video:
https://youtu.be/2Ajh8WQJvHs
The "dt-python-parser" package works really well, I use "getAllTokens" function to get all the tokens from python text file and then filter only type 93 (INDENT) and type 94 (DEDENT).
I need only INDENT and DEDENT locations, nothing more, but the "getAllTokens" function tokenizes everything and therefore losing much time, so if the file has more than 1000 lines, like 5000 lines or so, getAllTokens function takes many seconds to return the value, so rendering blocks take more time and waiting is not very comfortable for a user.
So, for the optimization, can I use the parser/tokenizer in such way that it would parse only INDENT/DEDENT locations and nothing more?
- Linguagem predominante
- JavaScript
- Estrelas
- 25
- Forks
- 7
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de DTStack/dt-python-parser
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 48/100
DTStack/dt-python-parser#28 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
DTStack/dt-python-parser#27 · 1 comentário ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100
DTStack/dt-python-parser#26 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100
DTStack/dt-python-parser#24 · 1 comentário ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 15/100
DTStack/dt-python-parser#15 · 3 comentários ·
Todas as issues de DTStack/dt-python-parser
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
-
Theme loads third-party resources on every page (jsdelivr web font, cdnjs Font Awesome) – GDPR Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
docToolchain/docToolchain#1705 ·
-
Timezone select lists one option per character; duplicate "Failed" reason; shared tracker popover id Abertabug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
nightscout/nocturne#1414 ·
-
bug v2
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
modelcontextprotocol/inspector#2458 · 1 comentário ·
-
Mend: dependency security vulnerability status: needs triage 🕵️♀️
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
carbon-design-system/ibm-products#9907 ·