Unable to use templates option in latest version of td-agent along with opensearch plugin.
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 30/100
調査の方向性
提供された td-agent 4.4.2 と Fluentd 1.15.3 の設定で失敗を再現し、templates 設定とネストされたエンドポイント認証情報に焦点を当てます。ドキュメントに記載された templates の構文と plugin の動作を比較し、集中的な回帰テストで結果を検証します。templates が認証情報の欠落による ArgumentError なしで動作すれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Steps to replicate
We are using the latest version of td-agent along with Opensearch from AWS but as soon as we put templates section in the config file following error message is thrown "2023-01-16 13:47:39 +0000 [error]: #0 fluent/log.rb:372:error: unexpected error error_class=ArgumentError error="expected both :access_key_id and :secret_access_key options""
Expected Behavior or What you need to ask
As per the documentation templates is supported. Can the below config file be reviewed and let us know if there is a mistake?
...
Config file
<match **.*******.UPLOAD>
@type copy
<store>
@type opensearch
index_name xx-xxxx-xxxxx-data
type_name "_doc"
logstash_format true
logstash_prefix xx-xxxx-xxxxx-data
logstash_dateformat %Y.%m
template_overwrite true
templates {"xxxxxxxxxxxxxx_template": "/opt/aws/custom/xxxxx_index_template.json"}
include_tag_key false
buffer_type file
buffer_chunk_limit 2m
buffer_queue_limit 1000
buffer_path /var/log/td-agent/uploadreportsupesbuffer
disable_retry_limit true
flush_interval 60s
retry_wait 10s
id_key MessageId
reload_connections false
remove_keys MessageId
<endpoint>
url xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
region us-east-1
access_key_id xxxxxxxxxxxxxxxxxxxxxxxxxxxxx
secret_access_key xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
</endpoint>
</store>
</match>
Using Fluentd and OpenSearch plugin versions
- OS version - Ubuntu 22.04
- Bare Metal or within Docker or Kubernetes or others?
- Fluentd v1.0 or later
- td-agent 4.4.2 fluentd 1.15.3
- OpenSearch plugin version
- paste boot log of fluentd or td-agent
- paste result of
fluent-gem list,td-agent-gem listor your Gemfile.lock
- OpenSearch version (optional)
- OpenSearch template(s) (optional)
- 主要言語
- Ruby
- スター
- 64
- フォーク
- 25
- 平均マージ
- 1日 16時間
- マージ済み PR(30日)
- 8
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
fluent/fluent-plugin-opensearch のほかの issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
The plugin is not retrying on specific errors and dropping the data on error 400対応中かも @dazoakley が 720 日前に担当しました。 オープンenhancement
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
fluent/fluent-plugin-opensearch#134 · コメント 5 件 ·
-
enhancement
難易度 4/5 3〜5日 初心者へのやさしさ 50/100
fluent/fluent-plugin-opensearch#123 · コメント 1 件 ·
-
bug enhancement
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
fluent/fluent-plugin-opensearch#122 · コメント 1 件 ·
fluent/fluent-plugin-opensearch の issue をすべて見る
似ている issue
-
Payment details dialog shows "Did not pass" for AVS/CVV results that mean the check wasn't performedオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
autonome
難易度 2/5 1〜3時間 初心者へのやさしさ 83/100
demarche-numerique/demarche.numerique.gouv.fr#14566 ·
メンテナーはふだん 1 日以内に返信
-
area/web interface
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
mastodon/mastodon#41723 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
akitaonrails/ai-book-2026#15 ·