Unable to distinguish valid stream end from broken stream
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- java
- Lĩnh vực
- data-engineering
Hướng nghiên cứu
Bắt đầu bằng cách đọc FileBlockHead.readHead và interface Sink hoặc các điểm vào liên quan đến việc nhập một luồng PBF lớn. Xác định cách xử lý hợp lệ khi kết thúc luồng khác với các lỗi trong quá trình xử lý sau đó như thế nào, sau đó định nghĩa một tín hiệu hoàn tất hoặc thất bại có hành vi có thể được kiểm thử cho cả hai trường hợp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi
I had recently run into an issue while importing large pbf file.
The problem was broken input stream and I ended up importing only half of the expected data that got unnoticed.
It's impossible to find out whether the import completed successfully and the EOFException is legit (basically that will be the case only while reading headersize in FileBlockHead.readHead) or whether the stream is broken in the middle of processing and it can not read the data to be expected down the line (any other place).
Either exception shall be thrown in such a case or another callback method in Sink introduced so Sink::complete() is called upon success and Sink:failure() upon error?
- Ngôn ngữ chính
- Java
- Star
- 218
- Fork
- 79
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
AllTheMods/AllTheModium#238 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
apache/stormcrawler#2264 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
commons-app/apps-android-commons#7115 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
objectionary/lints#1596 ·
Maintainer thường phản hồi trong vòng 2 ngày