parser_syslog: the regexp engine for RFC 5424 can match the header later in the message and corrupt the record

オープン 初心者向け
  • 何か問題がありますか？
#5,630 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
79/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
ruby
領域
backend

調査の方向性

lib/fluent/plugin/parser_syslog.rbから始め、issueでリンクされているparse_plainからRegexp#match(text, idx)への呼び出しを確認し、RFC 5424ヘッダーフィールドがどのように解析されるかを追ってください。RFC 5424のparserテストと、regexpエンジンおよびstringエンジンを確認してください。フィールドがidxで一致しない場合に、regexpエンジンが不一致を報告し、先行するテキストを破棄したりレコードを破損したりしなければ完了です。

索引モデルが issue の本文から書いたものです。

説明

Describe the bug

With message_format rfc5424 and the default parser_engine regexp, the parser matches the header fields after the timestamp with re.match(text, idx). Regexp#match with a position does not anchor the match at that position. When the text at idx does not match, the regexp can match later in the text. The record then gets values from the wrong place, and the text before the match is dropped. No warning is logged.

https://github.com/fluent/fluentd/blob/e7d3c3e4/lib/fluent/plugin/parser_syslog.rb#L269

To Reproduce

Run the script below with bundle exec ruby -Ilib repro.rb in this repository.

Results on master (e7d3c3e4):

  • <14>1 2026-04-25T16:43:29Z hôst app 123 ID - msg: the regexp engine returns "host" => "st". The string engine returns "host" => "hôst".
  • <14>1 2026-04-25T16:43:29Z first line\nhost app 123 ID - second line: the regexp engine returns "host" => "host" and "message" => "second line". first line is dropped.
require 'fluent/test'
require 'fluent/test/driver/parser'
require 'fluent/plugin/parser_syslog'

Fluent::Test.setup

%w[regexp string].each do |engine|
  d = Fluent::Test::Driver::Parser.new(Fluent::Plugin::SyslogParser).configure(%[
    message_format rfc5424
    with_priority true
    parser_engine #{engine}
  ])
  [
    '<14>1 2026-04-25T16:43:29Z hôst app 123 ID - msg',
    "<14>1 2026-04-25T16:43:29Z first line\nhost app 123 ID - second line",
  ].each do |text|
    d.instance.parse(text) { |_time, record| puts "#{engine}: #{record.inspect}" }
  end
end
Expected behavior

The regexp engine does not skip text. If the header fields do not match at that position, the message is reported as not matched. Anchoring the match at idx (for example with \G) would do this.

Your Environment
- Fluentd version: master (e7d3c3e4). v1.20.1 and v1.19.4 have the same code (not run).
- Package version: -
- Operating system: Linux
- Kernel version: -
Your Configuration
<parse>
  @type syslog
  message_format rfc5424
  with_priority true
</parse>
Your Error Log
No error or warning is logged.
Additional context

parse_rfc3164_regex also uses the same parse_plain. I did not check whether RFC 3164 messages are affected.

主要言語
Ruby
スター
13.6k
フォーク
1.4k
平均マージ
17時間 28分
マージ済み PR（30日）
66

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

fluent/fluentd のほかの issue

fluent/fluentd の issue をすべて見る

似ている issue

Ruby の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。