lexer freezes on this Python code
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 45/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- javascript, python
- 领域
- compilers
调研方向
首先使用 lexer("print('\'m')") 复现卡死,并检查 lexer 函数,尤其是 issue 中所示的 matchQuotation 循环。跟踪转义引号的标记化方式,并确保此输入在不会推进到输入末尾之后的情况下终止;验证 lexer 不再挂起。
由索引模型根据 Issue 内容生成。
描述
Steps to reproduce:
- Try to run
lexer("print('\'m')") - Notice that it freezes.
I traced the freeze to an infinite do-while loop in the lexer.
In the following code, input is set to the code "print('\'m')" but current variable reaches into the billions,
currentChar === undefined, and
validator.test(currentChar) is returning false when currentChar is undefined.
/**
* 过滤(提取) 引号中的内容
*/
// eslint-disable-next-line
const matchQuotation = (currentChar, validator, TokenType) => {
do {
if (currentChar === '\n') {
line++;
}
currentChar = input[++current];
} while (!validator.test(currentChar));
++current;
};
I wonder if this has anything to do with the backslashed quotation mark. Maybe the grammar doesn't define STRING properly for escaped quotes.
I edited this issue because I first thought the bug was reproducible by parsing but it actually requires running the lexer function on the code.
- 主要语言
- JavaScript
- 星标
- 25
- 派生
- 7
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
DTStack/dt-python-parser 的其他 Issue
-
难度 3/5 1-2 天 新手友好度 48/100
DTStack/dt-python-parser#28 ·
-
难度 5/5 一周以上 新手友好度 20/100
DTStack/dt-python-parser#27 · 1 条评论 ·
-
难度 3/5 1-2 天 新手友好度 45/100
DTStack/dt-python-parser#26 ·
-
难度 5/5 一周以上 新手友好度 15/100
DTStack/dt-python-parser#15 · 3 条评论 ·
-
支持最新版Python3语法 未关闭
难度 5/5 一周以上 新手友好度 20/100
DTStack/dt-python-parser#11 ·
查看 DTStack/dt-python-parser 的全部 Issue
相似的 Issue
-
bug customer-eng Durable Agents Inngest status: needs triage
难度 2/5 1-3 小时 新手友好度 82/100
-
optimization optimization:agents-md-curator
难度 2/5 1-3 小时 新手友好度 75/100
githubnext/gh-aw-cao#13475 ·
-
[BUG]: "Clear All" in Settings doesn't clear the saved analysis, old data comes back after reload 未关闭bug
难度 2/5 1-3 小时 新手友好度 88/100
AOSSIE-Org/OrgExplorer#253 · 1 条评论 ·
-
难度 2/5 1-3 小时 新手友好度 88/100
oxc-project/oxc#26944 ·
-
ai-observability bug team/ai-observability
难度 2/5 1-3 小时 新手友好度 78/100