Handling of DSG station data for big datasets
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
Línea de trabajo
No se identifican archivos, pruebas ni puntos de entrada. Empieza revisando el manejo existente en cf-python de los datos de estaciones en Contiguous Ragged Arrays y el caso de uso ghcnd-dsg; después, establece cómo se validaría la compatibilidad con más de 100.000 estaciones y 1.000 millones de observaciones, incluido el comportamiento propuesto de la caché de rangos de fechas.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
This is just to keep record of enhancements regarding the handling of station data for big datasets. As use case it is proposed that cf-python can handle a DSG dataset stored in contiguous ragged array format with +100_000 stations and more than 1 billion observations (see https://github.com/zequihg50/ghcnd-dsg).
An in-memory cache of the start and end dates registered for each station is trivial to obtain in this format, assuming that for each station the time series is sorted in disk. This allows to avoid several reading from the file for stations that actually do not contain data when subspacing in time, the slowest kind of access.
- Lenguaje dominante
- Python
- Estrellas
- 150
- Forks
- 23
- Merge medio
- 21 h 29 min
- PR fusionados (30 d)
- 1
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de NCAS-CMS/cf-python
-
code tidy
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
-
Attempt at unsupported conservative 3D mesh regriddingPosiblemente ocupada @sadielbartholomew la tomó hace 17 días. Abiertobug?
-
Release: migrate from deprecated build commandPosiblemente ocupada @sadielbartholomew la tomó hace 20 días. Abiertorelease
-
Remove support for Python 3.10 (EOL)Posiblemente ocupada @sadielbartholomew la tomó hace 20 días. Abiertoenhancement
-
error from netCDF in cf.writeAbiertobug
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
Todos los issues de NCAS-CMS/cf-python
Issues similares
-
bug status/needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
prowler-cloud/prowler#12887 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
area: desktop platform: macos priority: p3 status: ready type: enhancement
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
use-agent-os/agent-os#3484 ·
Los mantenedores suelen responder en 2 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
open-telemetry/opentelemetry-python-contrib#5113 · 2 comentarios · 2 reacciones ·
Los mantenedores suelen responder en 1 día
-
external
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
langchain-ai/docs#6255 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día