slow repeated publishing due to Contents Indexes generation
@neolynx đang làm issue này rồi.
Từ ngày 1/5/2025.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
We use aptly v1.6.1.
We have debian packages that contain thousends of files >30'000 files per package. We have a repo that has dozens of those packages.
When using aptly publish update or aptly publish switch aptly generates the Contents Indexes. Which is the mapping of all the files in a debian package to the debian package name.
According to this issue https://github.com/aptly-dev/aptly/issues/599 there should be some kind of caching mechanism in place. Such that already indexed packages are not indexed again. But this doesn't seem to work, as repeated publishing without any changes to the repo takes always about 6min on a 4-core AWS machine. Now, if we use -skip-contents it speeds up the publishing to about 700ms. Which means it must be the Contents Indexes generation.
My question is, does the caching really work, or did I misunderstand somthing about the caching described in https://github.com/aptly-dev/aptly/issues/599? Could it be that the caching is broken? Or at least broken for debian packages with >30'000 files?
We publish to local storage (not S3).
We also have "normal" repos with thouseds of "normal" debian packages, where the packages do not have so many files. And for those repos the publishing is within seconds.
- Ngôn ngữ chính
- Go
- Star
- 2.9k
- Fork
- 436
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của aptly-dev/aptly
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 80/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 54/100
Tất cả issue của aptly-dev/aptly
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
FootprintAI/Containarium#3182 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug from-studio
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
esengine/DeepSeek-Reasonix#14608 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
getarcaneapp/arcane#4590 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
area/frontend/library-panels automated-triage type/bug type/ux
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày