slow repeated publishing due to Contents Indexes generation
@neolynx ya está trabajando en esto.
Desde el 1/5/2025.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
We use aptly v1.6.1.
We have debian packages that contain thousends of files >30'000 files per package. We have a repo that has dozens of those packages.
When using aptly publish update or aptly publish switch aptly generates the Contents Indexes. Which is the mapping of all the files in a debian package to the debian package name.
According to this issue https://github.com/aptly-dev/aptly/issues/599 there should be some kind of caching mechanism in place. Such that already indexed packages are not indexed again. But this doesn't seem to work, as repeated publishing without any changes to the repo takes always about 6min on a 4-core AWS machine. Now, if we use -skip-contents it speeds up the publishing to about 700ms. Which means it must be the Contents Indexes generation.
My question is, does the caching really work, or did I misunderstand somthing about the caching described in https://github.com/aptly-dev/aptly/issues/599? Could it be that the caching is broken? Or at least broken for debian packages with >30'000 files?
We publish to local storage (not S3).
We also have "normal" repos with thouseds of "normal" debian packages, where the packages do not have so many files. And for those repos the publishing is within seconds.
- Lenguaje dominante
- Go
- Estrellas
- 2.9k
- Forks
- 436
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de aptly-dev/aptly
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 80/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 54/100
Todos los issues de aptly-dev/aptly
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
area/docs theme/deployer
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día
-
area/orchestration area/website kind/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
vllm-project/aibrix#3317 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
documentation ready
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
Needs Triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100