Move viral collections onto DataCache's download/build split

Abierto
#159 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
45/100
Tipo de issue
Refactorización
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
python
Área
cli, tooling

Línea de trabajo

Read viral_panel.py, net.py, and the VersionedDatasetRegistry implementation to understand the existing build and download flows. Trace how data fetch gdc-viruses handles options and registered artifacts. Done means it uses a pinned artifact when available, builds otherwise, routes content-changing options to the build path, and meets the stated request handling and user-agent requirements.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement

Catalogues and datasets are either a published, checksummed artifact downloaded through DataCache, or a local build from pinned sources. The gdc-viruses collection uses a separate stack:

  • live NCBI EFetch and PaVE requests through net.py (urllib with its own retries);
  • its own SHA256SUMS, staging and verification in viral_panel.py.

Every install depends on NCBI and PaVE being reachable and within their rate limits. net.py ignores Retry-After and has no NCBI_API_KEY support, and its user agent is hard-coded as orfdata/viral.

Proposal: publish the built collection as a release artifact where the record sources' terms allow, and install it through VersionedDatasetRegistry. Keep the live fetch as the build route with the existing ledgers and checksums. This would give viral collections the same list/info/fetch/path semantics, repair policy and resume behavior as every other resource, as the no-sidecars rule asks.

Acceptance: data fetch gdc-viruses downloads a pinned artifact when one is registered and builds otherwise. Options that change the content (--inventory-molecules, --no-annotation-fill, --alternate-annotations) select the build route. net.py honours Retry-After, and the request user agent no longer names the viral module.

#158 fixes the non-atomic replacement on its own; this issue removes the separate stack.

Lenguaje dominante
Python
Estrellas
1
Forks
1
Merge medio
10 h 11 min
PR fusionados (30 d)
51

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de openvax/orfdata

Todos los issues de openvax/orfdata

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.