How to parse/tokenize only INDENT and DEDENT tokens?
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- javascript, typescript
- Lĩnh vực
- compilers, performance
Hướng nghiên cứu
Bắt đầu bằng cách đọc phần triển khai getAllTokens và các entry point của parser/tokenizer được dt-python-parser sử dụng. Benchmark việc tokenize một tệp Python 5.000 dòng, tập trung vào các vị trí INDENT và DEDENT được xác định là các loại token 93 và 94; được coi là hoàn thành khi các vị trí đó được trả về với thời gian chờ ngắn hơn đáng kể so với getAllTokens.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hello, I'm working on my VS Code extension, blockman, it renders blocks based on nested code blocks to make it easier to visually perceive the code.
video:
https://youtu.be/2Ajh8WQJvHs
The "dt-python-parser" package works really well, I use "getAllTokens" function to get all the tokens from python text file and then filter only type 93 (INDENT) and type 94 (DEDENT).
I need only INDENT and DEDENT locations, nothing more, but the "getAllTokens" function tokenizes everything and therefore losing much time, so if the file has more than 1000 lines, like 5000 lines or so, getAllTokens function takes many seconds to return the value, so rendering blocks take more time and waiting is not very comfortable for a user.
So, for the optimization, can I use the parser/tokenizer in such way that it would parse only INDENT/DEDENT locations and nothing more?
- Ngôn ngữ chính
- JavaScript
- Star
- 25
- Fork
- 7
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của DTStack/dt-python-parser
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
DTStack/dt-python-parser#28 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
DTStack/dt-python-parser#27 · 1 bình luận ·
-
Problem when using listener mode Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
DTStack/dt-python-parser#26 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
DTStack/dt-python-parser#24 · 1 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
DTStack/dt-python-parser#15 · 3 bình luận ·
Tất cả issue của DTStack/dt-python-parser
Issue tương tự
-
bug customer-eng Durable Agents Inngest status: needs triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
optimization optimization:agents-md-curator
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
githubnext/gh-aw-cao#13475 ·
-
[BUG]: "Clear All" in Settings doesn't clear the saved analysis, old data comes back after reload Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
AOSSIE-Org/OrgExplorer#253 · 1 bình luận ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
oxc-project/oxc#26944 ·
-
ai-observability bug team/ai-observability
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100