nginx logs are not parsed using grok pattern
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 30/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- nginx, ruby
- 領域
- backend, observability
調査の方向性
まず、提供された Fluentd 設定を再現し、そこから出力されるレコードを issue に示されている Nginx ログと比較します。外部の Grok デバッガーではパターンが機能するのに、この parser 設定では機能しない理由を調査します。Fluentd で access log のフィールドが正しくパースされ、結果のレコードに期待される値が含まれていれば完了です。
索引モデルが issue の本文から書いたものです。
説明
I am using below grok_pattern for parsing Nginx logs
<source>
@type tail
path /data/nginxlogs/access.log
pos_file /var/log/td-agent/nginx-access.log.pos
tag es.nginx.acces
<parse>
@type multiline_grok
<grok>
pattern Started %{IPORHOST:client_ip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{NOTSPACE:request_page} HTTP/%{NUMBER:http_version}\" %{NUMBER:server_response} %{NUMBER:bytes} \"%{URI:referrer}\" %{QS:user_agent}
# grok_pattern %{MY_SUPER_PATTERN}
# custom_pattern_path /etc/td-agent/MY_SUPER_PATTERN
# multiline_start_regexp /^[^\s]/
</grok>
keep_time_key true
</parse>
</source>
<filter es.nginx.acces>
@type record_transformer
<record>
hostname ${hostname}
</record>
</filter>
<match es.**>
type "aws-elasticsearch-service"
type_name "access_log"
logstash_format true
logstash_prefix "ngrokcontainer"
include_tag_key true
tag_key "@log_name"
flush_interval 1s
<endpoint>
url http://testing-logs-ab-east-1.es.amazonaws.com
region us-east-1
</endpoint>
</match>
Kibana :
| message | 3.231.213.28 - - [18/Apr/2020:22:20:16 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-" |
|---|---|
| Its not parsing properly, but when I check this grok debugger its working fine. | |
| Please let me know how I can fix this issue |
- 主要言語
- Ruby
- スター
- 108
- フォーク
- 32
- 平均マージ
- 1時間 47分
- マージ済み PR（30日）
- 2
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
fluent/fluent-plugin-grok-parser のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 38/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 48/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 30/100
fluent/fluent-plugin-grok-parser の issue をすべて見る
似ている issue
-
verified
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
メンテナーはふだん 5 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 86/100
akitaonrails/ai-book-2026#10 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
zerocracy/judges-action#2984 ·
メンテナーはふだん 1 日以内に返信