Evaluate different data format for speeding up reprocessing
Los mantenedores suelen responder en 1 día
@hynnot ya está trabajando en esto.
Desde el 23/1/2025.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Reprocessing is currently not so fast, given that it's feeding from JSONL files. We should consider using something that's more performant like avro, msgpack or similar.
For historical purposes, here are some benchmarks I ran sometime ago while building OONI Data:
- Lenguaje dominante
- Python
- Estrellas
- 11
- Forks
- 6
- Merge medio
- 2 d 7 h
- PR fusionados (30 d)
- 9
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ooni/data
-
hatch dependency for oonidataAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
Address issues related to the Web Connectivity 0.5 rolloutQuizá libre de nuevo @hellais la tomó hace 61 días y no hay ningún pull request abierto. Abiertodata-quality pipeline research
ooni/data#180 · 2 comentarios · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Dificultad 3/5 1-2 días Aptitud para principiantes 58/100
ooni/data#164 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
missing database table measurement_experiment_result after running oonipipeline --create-tablesAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 1 día
-
[docs] fix install instructions for oonidata (command not found)Posiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 58/100
ooni/data#149 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
Issues similares
-
bug good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
yunaremaia/proto-drift#22 ·
-
bug good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
yunaremaia/memwatch#96 ·
-
bug good first issue
Dificultad 1/5 Menos de una hora Aptitud para principiantes 91/100
yunaremaia/ci-gate-watch#34 ·
-
bug good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
yunaremaia/agent-capability-attestation#64 ·
Los mantenedores suelen responder en 1 día
-
bug good first issue
Dificultad 1/5 Menos de una hora Aptitud para principiantes 86/100
yunaremaia/agent-call-graph#43 ·
Los mantenedores suelen responder en 1 día