Optimizing data upload transfer size
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 25/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- python
- Domínio
- data, performance
Direção de pesquisa
Comece pelo caminho upload_frame, que converte os dados para CSV antes de fazer o upload para o CAS. Investigue se a transferência binária ou compactada é compatível e, em seguida, meça uploads de tabelas grandes compostas exclusivamente por valores numéricos; considera-se concluído quando houver uma abordagem documentada ou implementada que reduza o tamanho da transferência sem alterar o comportamento do upload.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Hi, in my project I usually upload from local very large tables with the following characteristic: all columns are numeric (double).
I saw that with upload_frame data is first converted to csv and then the csv is uploaded on CAS.
I was thinking about the fact that in the "plain" csv every character takes 1 byte, so for instance the number 123456.123456 uses 13 bytes: but if this number is converted to its float binary representation, it would take 8 bytes: this little "gain" of 5 bytes, repeated for every row and every column may lead to a huge gain in file transfer size for bandwidth and time.
Or perhaps the "plain" csv may be gzipped to greatly reduce the file size since inside there are only a few distinct characters (i.e. the numbers).
Any Idea/hint you can give me to optimize the data upload transfer size in a smart way?
Thank you.
- Linguagem predominante
- Python
- Estrelas
- 159
- Forks
- 66
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de sassoftware/python-swat
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
sassoftware/python-swat#191 · 1 comentário ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 35/100
sassoftware/python-swat#183 · 1 comentário ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
sassoftware/python-swat#180 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 35/100
sassoftware/python-swat#178 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
sassoftware/python-swat#177 · 1 comentário ·
Todas as issues de sassoftware/python-swat
Issues semelhantes
-
docs: Release playbookAbertadocumentation
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
awslabs/social-messaging-agent-runtime-toolkit#140 ·
Mantenedores costumam responder em até 1 dia
-
subtask
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
fga-eps-mds/2026.2-MeasureSoftGram-DOC#187 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 83/100
txn2/mcp-data-platform#2493 ·
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
YO-WHATS-UP2/minigit#78 ·
Mantenedores costumam responder em até 3 dias
-
documentation
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
liberation-data/drivine-python#432 ·
Mantenedores costumam responder em até 1 dia