Reuse pinned source files across builds and setup runs

Abierto
#157 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
52/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
python

Línea de trabajo

Start by reading DataCache.materialize and install.py:69 to trace how catalogue builds, dataset builds, and setup obtain and discard source files. Identify how the ORFdata cache is configured and where build inputs are verified. Done means verified sources are reused by SHA-256 across those workflows, and the store's pruning procedure is documented.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement

Source builds discard their inputs. DataCache's materialize deletes owned sources after a successful build (retain_sources=False), and setup stages files shared between catalogues in a TemporaryDirectory (install.py:69). As a result:

  • The 24 MB Yang et al. supplementary table pinned by five RibORF catalogues is downloaded again by every separate data fetch.
  • Any rebuild after a manifest or importer change downloads every source again, including Ensembl GTF and cDNA files of 30–80 MB each.
  • When PyEnsembl has already cached the same Ensembl release file, it is fetched again under a different path.

Acceptance: keep verified source files in one content-addressed store under the ORFdata cache, keyed by SHA-256, and use it for catalogue builds, dataset builds and setup. A hit is re-verified before use. Bytes are never trusted by file name. Optionally, seed a hit from PyEnsembl's cache when the pinned hash matches. Document how to prune the store.

Lenguaje dominante
Python
Estrellas
1
Forks
1
Merge medio
10 h 11 min
PR fusionados (30 d)
51

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de openvax/orfdata

Todos los issues de openvax/orfdata

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.