Optimizing data upload transfer size
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- data, performance
Línea de trabajo
Comienza con la ruta upload_frame que convierte los datos a CSV antes de subirlos a CAS. Investiga si se admite la transferencia binaria o comprimida y, después, mide las subidas de tablas grandes cuyos datos sean exclusivamente numéricos; se considerará terminado cuando exista un enfoque documentado o implementado que reduzca el tamaño de la transferencia sin alterar el comportamiento de la subida.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi, in my project I usually upload from local very large tables with the following characteristic: all columns are numeric (double).
I saw that with upload_frame data is first converted to csv and then the csv is uploaded on CAS.
I was thinking about the fact that in the "plain" csv every character takes 1 byte, so for instance the number 123456.123456 uses 13 bytes: but if this number is converted to its float binary representation, it would take 8 bytes: this little "gain" of 5 bytes, repeated for every row and every column may lead to a huge gain in file transfer size for bandwidth and time.
Or perhaps the "plain" csv may be gzipped to greatly reduce the file size since inside there are only a few distinct characters (i.e. the numbers).
Any Idea/hint you can give me to optimize the data upload transfer size in a smart way?
Thank you.
- Lenguaje dominante
- Python
- Estrellas
- 159
- Forks
- 66
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de sassoftware/python-swat
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
sassoftware/python-swat#191 · 1 comentario ·
-
Error uploading parquet filesAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
sassoftware/python-swat#183 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
sassoftware/python-swat#180 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
sassoftware/python-swat#178 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
sassoftware/python-swat#177 · 1 comentario ·
Todos los issues de sassoftware/python-swat
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
cline/mcp-marketplace#3576 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
griptape-ai/griptape-nodes-library-elevenlabs#30 ·
Los mantenedores suelen responder en 1 día
-
docs: Release playbookAbiertodocumentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
awslabs/social-messaging-agent-runtime-toolkit#140 ·
Los mantenedores suelen responder en 1 día
-
subtask
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
fga-eps-mds/2026.2-MeasureSoftGram-DOC#187 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
NSPG13/agent-bounties#1747 ·
Los mantenedores suelen responder en 1 día