FluentD Metrics

Đang mở
  • Có gì không ổn?
#220 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
20/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
prometheus
Lĩnh vực
observability

Hướng nghiên cứu

Issue này nêu các metric FluentD như fluentd.emit_records và fluentd.emit_count, cùng với pipeline Monitoring_Agent-to-Datadog, nhưng không có tệp repository hoặc test nào. Hãy bắt đầu bằng việc xác định các định nghĩa metric và tài liệu trong plugin này, sau đó so sánh mỗi metric đếm gì với các stage S3, giải nén và OpenSearch. Hoàn tất nghĩa là xác định metric đại diện chính xác cho các bản ghi log được chuyển tiếp hoặc ghi lại hạn chế đó.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

0

Currently, we employ the following approach for sending logs to OpenSearch: receiving application logs in Gzip format stored in S3. We then input this S3 Gzip file(collection of logs) into FluentD, where the file is uncompressed, processed as chunk files, and subsequently forwarded to OpenSearch.

Now, I am attempting to retrieve metrics detailing the count of logs in the uncompressed file and the count forwarded to OpenSearch.

We are using the following design to obtain metrics from FluentD

FluentD-> Monitoring_Agent -> DatadogAgent-> DataDog

However , we are facing issues aligning the logs count or file count form these metrics(fluentd.emit_records,fluentd.emit_count)

Please advise on the FluentD metrics property is giving correct count for logs

Ngôn ngữ chính
Ruby
Star
256
Fork
83
Merge trung bình
1 ngày 2 giờ
Pull request đã merge (30 ngày)
3

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của fluent/fluent-plugin-prometheus

Tất cả issue của fluent/fluent-plugin-prometheus

Issue tương tự

Thêm issue về Ruby

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.