Resume interrupted downloads of multi-gigabyte artifacts
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 52/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- cli, data-engineering
Línea de trabajo
Read artifact_archives.py and trace how data fetch, setup, and the focused download commands pass options to DataCache; identify the tests covering single-file assets, archive parts, and build sources. Check how the eleven decompress: true releases are declared and handled. Done means the commands pass resume="auto" by default, large dataset artifacts use a resumable form, and checksum and atomic-publication behavior remains unchanged.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Several published artifacts are large:
pfizer-atlas-dog-peptide-evidence: four ~2 GB archive parts.pfizer-atlas-mouse-rna: a 1.27 GB.sqlite.gzthat installs as 8.66 GB.pfizer-atlas-dog-rna: a 534 MB download.wang-human-tissue-abundance: a 397 MB download.
A dropped connection restarts the file or part from zero. DataCache 1.29.3 can resume raw HTTP(S) transfers (resume=True or "auto") in fetch_file, bundle installs, archive parts and materialize sources, but ORFdata never passes the option.
"auto" alone covers archive parts, catalogue and genome files, chains and build sources. It does not cover the eleven published dataset releases declared with decompress: true: DataCache does not resume decoded transfers, and "auto" silently downloads those in full.
Acceptance:
data fetch,setupand the focused download commands passresume="auto"by default.- Large dataset artifacts move to a resumable form, for example the existing single-member archive route (
artifact_archives.py), or a raw.gzdownload decompressed after verification. - Checksums and atomic publication are unchanged.
- Tests check that the option reaches DataCache for single-file assets, archive parts and build sources.
- Lenguaje dominante
- Python
- Estrellas
- 1
- Forks
- 1
- Merge medio
- 10 h 11 min
- PR fusionados (30 d)
- 51
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de openvax/orfdata
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
openvax/orfdata#194 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 52/100
Los mantenedores suelen responder en 1 día
Todos los issues de openvax/orfdata
Issues similares
-
[Bug]: DoubleMLData.from_arrays checks the treatment d with force_all_x_finite instead of force_all_d_finitePosiblemente ocupada @leninworld la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
DoubleML/doubleml-for-py#471 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
python-pillow/Pillow#10590 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día
-
BUG: ZarrTrace fails in init_trace for models with datetime coordinates (object dtype coord array)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 2 días