Integrate KiwixStorage

Đang mở

#223 mở ngày 26/11/2024 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó: 5/5
Thời gian dự kiến: Hơn một tuần
Mức phù hợp với người mới: 25/100

Loại issue: Tính năng
Độ rõ ràng: Cần làm rõ
Mức độ hoạt động: Đình trệ
Công nghệ: aws, python
Lĩnh vực: backend-api-design, cloud

Hướng nghiên cứu

Bắt đầu bằng việc xem xét cách scraperlib và các scraper của nó hiện đang sử dụng S3 và KiwixStorage, sau đó so sánh cách sử dụng đó với API của python-storagelib. Công việc được xem là hoàn tất khi đã thêm các bài kiểm thử và phần tích hợp được yêu cầu, cập nhật các dependency, đồng thời định nghĩa API nhỏ hơn và cấu trúc dependency dạng mô-đun được mô tả trong issue.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement question

Ours scrapers all depend on S3 and use KiwixStorage for it. That wrapper and repo are mostly untouched (yet working) and would great benefit from being integrated into scraperlib: tests, usage, dependencies update, better API, etc.

Now that we had experience using it, it probably make sense to reduce its API to what's actually used.

It's true that some non-scraper projects are using it (cardshop and zimfarm to upload to S3), but those are also using scraperlib and we've discussed making scraperlib's dependencies more modular via extras anyway.

Ngôn ngữ chính: Python
Star: 31
Fork: 27
Merge trung bình: 3 ngày 7 giờ
Pull request đã merge (30 ngày): 2

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
Fork repository và làm thay đổi trên một nhánh.
Mở pull request có tham chiếu số hiệu của issue.

Issue khác của openzim/python-scraperlib

HTML rewriting: also rewrite `poster` attribute Đang mở

bug

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100

openzim/python-scraperlib#339 · Mở ngày 16/9/2026
[next major] Remove deprecated 'convert' parameter for optimize_image function inside optimization.py Đang mở

enhancement

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100

openzim/python-scraperlib#292 · Mở ngày 11/4/2026
URL normalisation: URL-encoded `#` makes its way into the path, but is lost when obtaining the URI of that entry Đang mở

bug

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

openzim/python-scraperlib#341 · Mở ngày 17/9/2026
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/` Đang mở

bug

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100

openzim/python-scraperlib#340 · Mở ngày 17/9/2026
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.fr Đang mở

bug

openzim/python-scraperlib#334 · 1 người được giao · Mở ngày 21/8/2026

Tất cả issue của openzim/python-scraperlib

Issue tương tự

Use `charmlibs.interfaces.oauth` instead of deprecated `hydra.oauth` Đang mở

enhancement

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100

canonical/paas-charm#368 · 1 bình luận · Mở ngày 23/9/2026
Model API: distributable field returns false even when "Allow Distributed Inference Across Workers" is checked Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

gpustack/gpustack#6275 · Mở ngày 23/9/2026
attachment_urls parameter descriptions do not state that the value must be a reference Đang mở

tech debt

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

epam/ai-dial-quickapps-backend#579 · Mở ngày 23/9/2026
addition to tracking list Đang mở

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100

StevenBlack/hosts#3256 · Mở ngày 23/9/2026
Fix-WebUI-README-screenshot-links Đang mở

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100

qualcomm/qai-appbuilder#275 · Mở ngày 23/9/2026

Thêm issue về Python