Arrow support
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
Línea de trabajo
El issue no menciona archivos fuente ni pruebas. Empieza siguiendo el punto de entrada para la lectura inicial de draws en CSV y cómo se gestionan los comentarios especiales de Stan CSV; después, revisa la cheatsheet enlazada de Arrow R. El trabajo estará terminado cuando incluya un enfoque decidido para seleccionar o diezmar variables antes de cargarlas en memoria, con cobertura para el formato CSV compatible.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
For a very large number of variables stored in csv, it could be useful to use Arrow to read posterior csv as Arrow data table and use that to let the user to select which variables are actually read to the memory (could be used also for thinning). arrow_table supports dplyr so the implementation of selection and filtering would be relatively easy. It might be easier to just allow this when first time reading the draws from csv, as adding yet another draws type (e.g. draws_arrow_table) would be more work.
Arrow R cheatsheet shows an example of using dplyr
https://github.com/apache/arrow/blob/master/r/cheatsheet/arrow-cheatsheet.pdf
The cheatsheet talks about larger than memory, but I assume it could be faster to not read whole big csv to memory even if it would fit.
I hope the Stan's special comments in csv's are not making this impossible.
- Lenguaje dominante
- R
- Estrellas
- 172
- Forks
- 27
- Merge medio
- 5 d 12 h
- PR fusionados (30 d)
- 5
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de stan-dev/posterior
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Use testthat 3ePosiblemente ocupada @mcol la tomó hace 7 días. Abiertogood first issue test
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Todos los issues de stan-dev/posterior
Issues similares
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
cran-task-views/Spatial#127 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
Add two cautions to the `simulate_dyad_responses()` helpPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abiertodocumentation priority: low
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Pascal-Kueng/dyadMLM#179 ·
Los mantenedores suelen responder en 1 día
-
Consider changesAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
OHDSI/OmopSketch#618 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
GSK-Biostatistics/tfrmt#854 ·