[Feature] Implement batch TopN aggregation for historical data on non-hot nodes
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 30/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- java
- Lĩnh vực
- observability-sre
Hướng nghiên cứu
Issue không nêu tệp, test hoặc entry point nào. Hãy bắt đầu bằng cách đọc issue liên quan #13285 và xác định aggregation TopN hiện có cùng các workflow lưu trữ warm/cold; phần hoàn thành cần bao gồm các tác vụ batch có thể cấu hình, các khoảng thời gian lịch sử, quy ước đặt tên và aggregation sau khi import.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Search before asking
- I had searched in the issues and found no similar feature requirement.
Description
Related to #13285
Implement a batch processing system that enables TopN aggregation for historical data stored on warm and cold nodes. This feature will support scenarios where historical data is imported and users need to generate TopN aggregations retroactively with flexible configuration options.
Background
Non-hot storage tiers (warm and cold nodes) often contain historical data that may be imported in bulk. Currently, there's no efficient mechanism to perform TopN aggregations on this historical data without impacting real-time operations or requiring manual intervention.
Proposed Features
Develop a batch processing capability that supports:
- On-demand TopN aggregation through configurable batch tasks
- Flexible time-range specifications for historical data processing
- User-defined naming conventions for generated TopN results
- Support for importing historical data with subsequent batch aggregation processing
Use case
No response
Related issues
No response
Are you willing to submit a pull request to implement this on your own?
- Yes I am willing to submit a pull request on my own!
Code of Conduct
- I agree to follow this project's Code of Conduct
- Ngôn ngữ chính
- Java
- Star
- 25k
- Fork
- 6.6k
- Merge trung bình
- 15 giờ 4 phút
- Pull request đã merge (30 ngày)
- 32
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/skywalking
-
feature UI
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100
apache/skywalking#14173 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] Trace profiling segment list becomes empty after the task finishes, while still inside the query windowCó thể đã có người làm @hanahmily đã nhận hôm nay. Đang mởbug database
apache/skywalking#14172 · 3 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] BanyanDB trace block metadata format changed in 0.11 without a file format version bumpCó thể đã có người làm @hanahmily đã nhận 1 ngày trước. Đang mởbug database
apache/skywalking#14169 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chore CLI database
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
apache/skywalking#14168 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] BanyanDB stream scans run out of query memory even with a small limitCó thể đã có người làm @hanahmily đã nhận 4 ngày trước. Đang mởbug database
apache/skywalking#14165 · 3 bình luận · 2 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của apache/skywalking
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
geonetwork/core-geonetwork#9592 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 63/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
apache/rocketmq-dashboard#7361 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
higress-group/himarket#358 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
Maintainer thường phản hồi trong vòng 1 ngày