Unable to use templates option in latest version of td-agent along with opensearch plugin.

オープン
#91 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
30/100
issue の種類
バグ
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
aws, ruby
領域
backend, search

調査の方向性

提供された td-agent 4.4.2 と Fluentd 1.15.3 の設定で失敗を再現し、templates 設定とネストされたエンドポイント認証情報に焦点を当てます。ドキュメントに記載された templates の構文と plugin の動作を比較し、集中的な回帰テストで結果を検証します。templates が認証情報の欠落による ArgumentError なしで動作すれば完了です。

索引モデルが issue の本文から書いたものです。

説明

bug
Steps to replicate

We are using the latest version of td-agent along with Opensearch from AWS but as soon as we put templates section in the config file following error message is thrown "2023-01-16 13:47:39 +0000 [error]: #0 fluent/log.rb:372:error: unexpected error error_class=ArgumentError error="expected both :access_key_id and :secret_access_key options""

Expected Behavior or What you need to ask

As per the documentation templates is supported. Can the below config file be reviewed and let us know if there is a mistake?
...

Config file
<match **.*******.UPLOAD>
  @type copy
  <store>
    @type opensearch
    index_name xx-xxxx-xxxxx-data
    type_name "_doc"
    logstash_format true
    logstash_prefix xx-xxxx-xxxxx-data
    logstash_dateformat %Y.%m
    template_overwrite true
    templates {"xxxxxxxxxxxxxx_template": "/opt/aws/custom/xxxxx_index_template.json"}
    include_tag_key false
    buffer_type file
    buffer_chunk_limit 2m
    buffer_queue_limit 1000
    buffer_path /var/log/td-agent/uploadreportsupesbuffer
    disable_retry_limit true
    flush_interval 60s
    retry_wait 10s
    id_key MessageId
    reload_connections false
    remove_keys MessageId
    <endpoint>
      url xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
      region us-east-1
      access_key_id xxxxxxxxxxxxxxxxxxxxxxxxxxxxx
      secret_access_key xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
	  </endpoint>
  </store>
</match>
Using Fluentd and OpenSearch plugin versions
  • OS version - Ubuntu 22.04
  • Bare Metal or within Docker or Kubernetes or others?
  • Fluentd v1.0 or later
    • td-agent 4.4.2 fluentd 1.15.3
  • OpenSearch plugin version
    • paste boot log of fluentd or td-agent
    • paste result of fluent-gem list, td-agent-gem list or your Gemfile.lock
  • OpenSearch version (optional)
  • OpenSearch template(s) (optional)
主要言語
Ruby
スター
64
フォーク
25
平均マージ
1日 16時間
マージ済み PR(30日)
8

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

fluent/fluent-plugin-opensearch のほかの issue

fluent/fluent-plugin-opensearch の issue をすべて見る

似ている issue

Ruby の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。