Resume interrupted downloads of multi-gigabyte artifacts

Abierto
#156 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
52/100
Tipo de issue
Nueva funcionalidad
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
python

Línea de trabajo

Read artifact_archives.py and trace how data fetch, setup, and the focused download commands pass options to DataCache; identify the tests covering single-file assets, archive parts, and build sources. Check how the eleven decompress: true releases are declared and handled. Done means the commands pass resume="auto" by default, large dataset artifacts use a resumable form, and checksum and atomic-publication behavior remains unchanged.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement

Several published artifacts are large:

  • pfizer-atlas-dog-peptide-evidence: four ~2 GB archive parts.
  • pfizer-atlas-mouse-rna: a 1.27 GB .sqlite.gz that installs as 8.66 GB.
  • pfizer-atlas-dog-rna: a 534 MB download.
  • wang-human-tissue-abundance: a 397 MB download.

A dropped connection restarts the file or part from zero. DataCache 1.29.3 can resume raw HTTP(S) transfers (resume=True or "auto") in fetch_file, bundle installs, archive parts and materialize sources, but ORFdata never passes the option.

"auto" alone covers archive parts, catalogue and genome files, chains and build sources. It does not cover the eleven published dataset releases declared with decompress: true: DataCache does not resume decoded transfers, and "auto" silently downloads those in full.

Acceptance:

  • data fetch, setup and the focused download commands pass resume="auto" by default.
  • Large dataset artifacts move to a resumable form, for example the existing single-member archive route (artifact_archives.py), or a raw .gz download decompressed after verification.
  • Checksums and atomic publication are unchanged.
  • Tests check that the option reaches DataCache for single-file assets, archive parts and build sources.
Lenguaje dominante
Python
Estrellas
1
Forks
1
Merge medio
10 h 11 min
PR fusionados (30 d)
51

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de openvax/orfdata

Todos los issues de openvax/orfdata

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.