Data Limit/Inefficient data transfer of chart data (options) to the browser
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- javascript, nodejs
- Lĩnh vực
- backend
Hướng nghiên cứu
Tái hiện lỗi bằng một biểu đồ chứa 3 triệu điểm dữ liệu, sau đó điều tra sự cố exporter bị crash và việc truyền JSON trùng lặp được mô tả trong báo cáo. Công việc được coi là hoàn tất khi dữ liệu biểu đồ lớn không còn gây crash khi đạt đến giới hạn truyền tải và dịch vụ ghi log lý do cụ thể khi vượt quá giới hạn.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Expected behavior
The export server should handle large amounts of data. The technical limitation is likely due to the Chrome DevTools protocol implementation, which is capped at 100 MB. This allows for approximately 12,979,200 data points to be transferred (assuming double precision at 8 bytes per point). However, some bytes should be reserved for other settings within the options object.
Additionally, the exporter crashes without a proper error message when the 100 MB limit is exceeded.
Actual behavior
Data is transferred as a string representation of the JSON object, which consumes more than twice the amount of data per data point. We are currently observing a limit of around 2,550,000 data points, resulting in a JSON string of roughly 100 MB. I expected it to be around 50 MB, but the data appears redundant in the transferred message (data.params.arguments[1].value.export.options and data.params.arguments[1].value.export.strInj).
The exporter should not crash when the limit is exceeded. Instead, it should log the specific reason.
One potential solution could be to serialize the JSON to BSON, transfer it as binary data, and then deserialize it back to JSON on the client side.
Reproduction steps
Render a chart with 3 million data points and observe the service crashing.
- Ngôn ngữ chính
- JavaScript
- Star
- 368
- Fork
- 265
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của highcharts/node-export-server
-
Update Puppeteer to version 25.11.0+ to allow ARM64 linux images to run node-export-serverCó thể đã có người làm @daniatic đã nhận 3 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
highcharts/node-export-server#686 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
highcharts/node-export-server#680 · 1 bình luận ·
-
How to get a response statusĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
highcharts/node-export-server#679 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
highcharts/node-export-server#678 ·
-
Not working on s390xĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
highcharts/node-export-server#676 ·
Tất cả issue của highcharts/node-export-server
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
answerLoops/answerLoops#344 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Engineering
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
techmatters/terraso-web-client#3095 ·
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Service process inherits the caller's cwd at first use, holding that folder open on Windows (EBUSY)Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
nextcloud/viewer#3424 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày