Compressing the discovery cache
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 48/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python
- Lĩnh vực
- build-system, performance
Hướng nghiên cứu
Bắt đầu bằng cách xác định mã tạo và đọc thư mục tài liệu của discovery cache, sử dụng kích thước cache của v2.114.0 làm baseline. So sánh các phương pháp nén có sẵn trong thư viện chuẩn Python và kiểm tra cách cache được đóng gói vào các Docker image. Hoàn thành khi cache nhỏ hơn đáng kể, vẫn có thể được thư viện sử dụng và cải thiện kích thước build hoặc deploy.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
#2315 shaved off a bit more than 20MB of the discovery cache, by removing the json indentation.
Currently there's still 74.6MB remaining, and it appears to be growing steadily over time (from 81MB on 2023-03-31 to 94MB on 2024-01-15).
So while #2315 definitely helped, I believe that it's a good idea to consider reducing the size even further. I believe that this could significantly improve build/deploy times of the many docker images that use this library. For reference, the current latest python-slim docker image is less than 50MB.
An easy win would be to use compression.
To illustrate: if I manually zip the entire documents directory of 74.6MB in v2.114.0 using the pop-os default gnome archive manager, I end up with an archive of 11.9MB.
Creating a documents.tar.xz in the same way makes this 4.6MB.
It should be possible to achieve similar levels of compression by using Python's standard compression libraries, e.g. zlib, zipfile, or lzma.
- Ngôn ngữ chính
- Python
- Star
- 8.9k
- Fork
- 2.6k
- Merge trung bình
- 1 ngày 23 giờ
- Pull request đã merge (30 ngày)
- 17
Chuẩn bị môi trường
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của googleapis/google-api-python-client
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
googleapis/google-api-python-client#2788 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
test: connection leak test test_discovery_http_is_closed is shadowed and syntactically invalidĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
googleapis/google-api-python-client#2757 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
googleapis/google-api-python-client#2755 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
googleapis/google-api-python-client#2825 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
เมตาแมสĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 10/100
googleapis/google-api-python-client#2824 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của googleapis/google-api-python-client
Issue tương tự
-
Broken links found in docsĐang mởdocs pydanty:is-working
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
pydantic/pydantic-ai#8863 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
run-llama/llama_index#23278 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
documentation from-review-extraction github-actions priority: low severity:nit
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
LearningCircuit/local-deep-research#6946 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
oracle/langchain-oracle#323 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
tenstorrent/tt-metal#58057 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày