Reuse pinned source files across builds and setup runs
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 52/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- data-engineering, tooling
Línea de trabajo
Start by reading DataCache.materialize and install.py:69 to trace how catalogue builds, dataset builds, and setup obtain and discard source files. Identify how the ORFdata cache is configured and where build inputs are verified. Done means verified sources are reused by SHA-256 across those workflows, and the store's pruning procedure is documented.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Source builds discard their inputs. DataCache's materialize deletes owned sources after a successful build (retain_sources=False), and setup stages files shared between catalogues in a TemporaryDirectory (install.py:69). As a result:
- The 24 MB Yang et al. supplementary table pinned by five RibORF catalogues is downloaded again by every separate
data fetch. - Any rebuild after a manifest or importer change downloads every source again, including Ensembl GTF and cDNA files of 30–80 MB each.
- When PyEnsembl has already cached the same Ensembl release file, it is fetched again under a different path.
Acceptance: keep verified source files in one content-addressed store under the ORFdata cache, keyed by SHA-256, and use it for catalogue builds, dataset builds and setup. A hit is re-verified before use. Bytes are never trusted by file name. Optionally, seed a hit from PyEnsembl's cache when the pinned hash matches. Document how to prune the store.
- Lenguaje dominante
- Python
- Estrellas
- 1
- Forks
- 1
- Merge medio
- 10 h 11 min
- PR fusionados (30 d)
- 51
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de openvax/orfdata
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
openvax/orfdata#194 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
Los mantenedores suelen responder en 1 día
Todos los issues de openvax/orfdata
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
pearu/agent-sandbox#451 ·
Los mantenedores suelen responder en 1 día
-
run_gate loads a custom tasks file from outside the working directoryPosiblemente ocupada @Ru0k3 la tomó hoy. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
MakazhanAlpamys/Soup#3189 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
review developer setup docAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
NYCPlanning/data-engineering#2996 ·
Los mantenedores suelen responder en 1 día