security_exception causes data to silently drop

オープン
#32 コメント 0 件 リアクション 3 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
38/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
停滞
技術スタック
ruby
領域
backend, databases

調査の方向性

ソースファイルもテストも指定されていません。まず、提供された Fluentd 設定を再現し、書き込み中に OpenSearch プラグインが security_exception をどのように処理するかを追跡してください。完了条件は、失敗したメッセージがサイレントに消失せず、ERROR または要求された設定可能なラベルに到達することです。この再現に対して動作を検証してください。

索引モデルが issue の本文から書いたものです。

説明

enhancement

(check apply)

  • read the contribution guideline
  • (optional) already reported 3rd party upstream repository or mailing list if you use k8s addon or helm charts.
Steps to replicate

When writing to an index the plugin does have permission to, the data writes correctly to OpenSearch.
When trying to write to an index the plugin does not have permission to, purposefully causing a security_exception, data appears to silently drop.

<system>
  workers 4
  root_dir /var/log/fluentd
</system>

<source>
  @type http
  port 8080
  bind 0.0.0.0
</source>

XXXFILTERSXXX

<match **>
    @id out_opensearch
    @type opensearch
    @log_level debug
    scheme https
    ssl_verify true
    host XXXHOSTXXX
    port XXXPORTXXX
    user XXXUSERXXX
    password XXXPASSWORDXXX
    target_index_key @target_index
    remove_keys @target_index
    compression_level default_compression
    log_os_400_reason true
    <buffer tag>
          flush_interval 1s
          retry_type periodic
          retry_forever true
          retry_wait 5s
    </buffer>
</match>

<label @FLUENT_LOG>
  <match **>
    @type stdout
  </match>
</label>

<label @ERROR>
  <match **>
    @type stdout
  </match>
</label>

Only messages seen output to stdout:
2022-03-17 14:11:31 +0000 [debug]: #0 [out_opensearch] Indexed (op = index), 6 security_exception
2022-03-17 14:11:31.901853800 +0000 fluent.debug: {"message":"[out_opensearch] Indexed (op = index), 6 security_exception"}

Expected Behavior or What you need to ask

Messages not uploaded due to security_exception should make their way to ERROR.
If not ERROR, perhaps a configurable label and optional re-tag?

Using Fluentd and OpenSearch plugin versions

OS version: Docker image built off ghcr.io/calyptia/fluentd:v1.14.5-debian-1.0
Bare Metal or within Docker or Kubernetes or others?: Docker image built off ghcr.io/calyptia/fluentd:v1.14.5-debian-1.0
Fluentd v1.0 or later: 1.14.5
OpenSearch plugin version: fluent-plugin-opensearch version 1.0.2

主要言語
Ruby
スター
64
フォーク
25
平均マージ
1日 16時間
マージ済み PR(30日)
8

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

fluent/fluent-plugin-opensearch のほかの issue

fluent/fluent-plugin-opensearch の issue をすべて見る

似ている issue

Ruby の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。