security_exception causes data to silently drop

Đang mở
#32 0 bình luận 3 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
38/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
ruby
Lĩnh vực
backend, databases

Hướng nghiên cứu

Không có tệp nguồn hoặc bài kiểm thử nào được nêu. Hãy bắt đầu bằng cách tái hiện cấu hình Fluentd đã cung cấp và theo dõi cách plugin OpenSearch xử lý một security_exception trong khi ghi. Được xem là hoàn tất khi các thông báo bị lỗi không còn biến mất một cách im lặng và đến được ERROR hoặc nhãn có thể cấu hình được yêu cầu, với hành vi được xác minh dựa trên việc tái hiện này.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

(check apply)

  • read the contribution guideline
  • (optional) already reported 3rd party upstream repository or mailing list if you use k8s addon or helm charts.
Steps to replicate

When writing to an index the plugin does have permission to, the data writes correctly to OpenSearch.
When trying to write to an index the plugin does not have permission to, purposefully causing a security_exception, data appears to silently drop.

<system>
  workers 4
  root_dir /var/log/fluentd
</system>

<source>
  @type http
  port 8080
  bind 0.0.0.0
</source>

XXXFILTERSXXX

<match **>
    @id out_opensearch
    @type opensearch
    @log_level debug
    scheme https
    ssl_verify true
    host XXXHOSTXXX
    port XXXPORTXXX
    user XXXUSERXXX
    password XXXPASSWORDXXX
    target_index_key @target_index
    remove_keys @target_index
    compression_level default_compression
    log_os_400_reason true
    <buffer tag>
          flush_interval 1s
          retry_type periodic
          retry_forever true
          retry_wait 5s
    </buffer>
</match>

<label @FLUENT_LOG>
  <match **>
    @type stdout
  </match>
</label>

<label @ERROR>
  <match **>
    @type stdout
  </match>
</label>

Only messages seen output to stdout:
2022-03-17 14:11:31 +0000 [debug]: #0 [out_opensearch] Indexed (op = index), 6 security_exception
2022-03-17 14:11:31.901853800 +0000 fluent.debug: {"message":"[out_opensearch] Indexed (op = index), 6 security_exception"}

Expected Behavior or What you need to ask

Messages not uploaded due to security_exception should make their way to ERROR.
If not ERROR, perhaps a configurable label and optional re-tag?

Using Fluentd and OpenSearch plugin versions

OS version: Docker image built off ghcr.io/calyptia/fluentd:v1.14.5-debian-1.0
Bare Metal or within Docker or Kubernetes or others?: Docker image built off ghcr.io/calyptia/fluentd:v1.14.5-debian-1.0
Fluentd v1.0 or later: 1.14.5
OpenSearch plugin version: fluent-plugin-opensearch version 1.0.2

Ngôn ngữ chính
Ruby
Star
64
Fork
25
Merge trung bình
1 ngày 16 giờ
Pull request đã merge (30 ngày)
8

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của fluent/fluent-plugin-opensearch

Tất cả issue của fluent/fluent-plugin-opensearch

Issue tương tự

Thêm issue về Ruby

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.