`LanguageParser.Parse` infinite loops on malformed input

オープン 初心者向け
#48 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
72/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
csharp
領域
compilers

調査の方向性

ColorCode.Parsing.LanguageParser.Parse から始めてください。これは Match.NextMatch() を駆動し、スキャン位置が進むことを前提とするループです。issue の最小 repro コンソールスニペットを json 言語で実行してハングするのを確認し、次に進捗なしガードを追加してください(マッチのインデックスと長さが動かない場合にループを抜ける)。これにより、不正な入力は回り続けるのではなく縮退します。repro が戻り、既存の parser テストが引き続き通れば完了です。

索引モデルが issue の本文から書いたものです。

説明

AI Disclosure: The bug report below is being co-written by AI.


ColorCode.Core 2.0.15 (CommunityToolkit/ColorCode-Universal)

ColorCode.Parsing.LanguageParser.Parse enters a non-terminating loop for certain malformed source strings, burning a CPU core forever on the calling thread. In our case this was on the UI thread, so the entire app froze.

Why is this important

There are many cases where there can be invalid input passed into the library. For example, AI chat rendering that AI writes the code that need to be syntax highlighted.

Reproduction

Highlighting the following source with the json language:

state.status = "completed"
state.metadata = { "status": "running", "shellID": "sh_1df528…", "pid": 133242 }
content = [
  "Command moved to the background (shell ID: sh_1df528…).…\nOutput is streaming to: …/sh_1df528…out",
  "You will be notified automatically when the command finishes.…"
]

The body is not valid JSON. LanguageParser.Parse does not return.

Minimal repro:

using System;
using System.Collections.Generic;
using System.Threading;
using ColorCode;
using ColorCode.Common;
using ColorCode.Compilation;
using ColorCode.Parsing;

var malformed = """
    state.status = "completed"
    state.metadata = { "status": "running", "shellID": "sh_1df528…", "pid": 133242 }
    content = [
      "Command moved to the background (shell ID: sh_1df528…).…\nOutput is streaming to: …/sh_1df528…out",
      "You will be notified automatically when the command finishes.…"
    ]
    """;

var compiler = new LanguageCompiler(new Dictionary<string, CompiledLanguage>(), new ReaderWriterLockSlim());
var repo = new LanguageRepository(new Dictionary<string, ILanguage> { ["json"] = Languages.FindById("json") });
var parser = new LanguageParser(compiler, repo);

parser.Parse(malformed, Languages.FindById("json"), (parsed, scopes) => { }); // never returns
Expected behavior

Parse returns (the input is simply malformed; highlighting should degrade gracefully or throw a parse error, not hang).

Actual behavior

Parse spins forever in Regex.Match.NextMatch() and never terminates. The thread is unkillable and consumes 100% CPU indefinitely.

Stack trace (from a real hang)
System.Text.RegularExpressions.RegexInterpreter.TryMatchAtCurrentPosition
System.Text.RegularExpressions.RegexInterpreter.Scan
System.Text.RegularExpressions.Regex.ScanInternal
System.Text.RegularExpressions.Regex.RunSingleMatch
System.Text.RegularExpressions.Match.NextMatch        // non-terminating loop
ColorCode.Parsing.LanguageParser.Parse
Root-cause hypothesis

A language rule matches without advancing the scan position, so Match.NextMatch() keeps returning matches at the same position forever. I suspect one of the json language's regex rules can produce a zero-width match on this input, causing the loop in LanguageParser.Parse (which drives the regex and relies on position advancing) to never make progress.

Suggested fix area
  • LanguageParser.Parse: guard against no-progress iterations (e.g. bail if match.Index / match length doesn't advance), or add a safety bound on iterations.
  • Alternatively, consider a timeout/token the caller can use — though note .NET has no way to abort a non-terminating regex, so a prevention guard (zero-width match detection) is more robust than cancellation.
主要言語
C#
スター
267
フォーク
59
PR マージ指標
30日以内にマージされた PR はありません

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

CommunityToolkit/ColorCode-Universal のほかの issue

CommunityToolkit/ColorCode-Universal の issue をすべて見る

似ている issue

C# の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。