stream the file rather than store it in memory
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 45/100
Hướng nghiên cứu
Bắt đầu bằng cách đọc triển khai URL-to-tempfile hiện tại và tài liệu về Ruby IO.copy_stream và streaming của Net::HTTP được trích dẫn trong issue. Công việc được xem là hoàn tất khi các lượt tải xuống được stream mà không nạp toàn bộ tệp vào bộ nhớ và một giới hạn trên được áp dụng; issue không nêu tên tệp hoặc bài kiểm thử cụ thể nào.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
from discussion in https://www.reddit.com/r/ruby/comments/4bcgjw/download_url_to_tempfile_gem/
tips from Reddit user moomaka
This implementation downloads the entire file into memory then writes it to disk. This is not only a bad idea for performance but is also a DoS vector.
Implementation recomendation
Probably the most efficient is IO.copy_stream or similar methods from IO: http://ruby-doc.org/core->2.3.0/IO.html. Another option is Net::HTTP streaming responses: http://ruby-doc.org/stdlib->2.3.0/libdoc/net/http/rdoc/Net/HTTP.html#class-Net::HTTP-label-Streaming+Response+Bodies
Regardless of which approach you use, you probably want to set an upper bound on the size of the >file also or someone could just point you at a 15TB file :)
- Ngôn ngữ chính
- Ruby
- Star
- 2
- Fork
- 1
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue tương tự
-
Add Catalan (ca) translationĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
eurosky-social/eu-haul#32 ·
-
README configuration examples use the wrong module name and describe removed Bootstrap assetsĐang mởgood first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
benbalter/add-to-org#17 ·
-
good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
benbalter/change_agent#11 ·
-
good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
benbalter/count-org-loc#20 ·
-
good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
benbalter/sitemap-parser#33 ·