Optimizing data upload transfer size
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- data, performance
Hướng nghiên cứu
Bắt đầu với đường dẫn upload_frame, nơi chuyển đổi dữ liệu thành CSV trước khi tải lên CAS. Điều tra xem việc truyền dữ liệu nhị phân hoặc nén có được hỗ trợ hay không, sau đó đo thời gian tải lên các bảng lớn chỉ chứa dữ liệu số; hoàn thành có nghĩa là có một phương pháp được ghi lại hoặc triển khai giúp giảm kích thước truyền tải mà không làm hỏng hành vi tải lên.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi, in my project I usually upload from local very large tables with the following characteristic: all columns are numeric (double).
I saw that with upload_frame data is first converted to csv and then the csv is uploaded on CAS.
I was thinking about the fact that in the "plain" csv every character takes 1 byte, so for instance the number 123456.123456 uses 13 bytes: but if this number is converted to its float binary representation, it would take 8 bytes: this little "gain" of 5 bytes, repeated for every row and every column may lead to a huge gain in file transfer size for bandwidth and time.
Or perhaps the "plain" csv may be gzipped to greatly reduce the file size since inside there are only a few distinct characters (i.e. the numbers).
Any Idea/hint you can give me to optimize the data upload transfer size in a smart way?
Thank you.
- Ngôn ngữ chính
- Python
- Star
- 159
- Fork
- 66
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của sassoftware/python-swat
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
sassoftware/python-swat#191 · 1 bình luận ·
-
Error uploading parquet filesĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
sassoftware/python-swat#183 · 1 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
sassoftware/python-swat#180 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100
sassoftware/python-swat#178 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
sassoftware/python-swat#177 · 1 bình luận ·
Tất cả issue của sassoftware/python-swat
Issue tương tự
-
follow-up needs-triage S3: minor
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
manaflow-ai/cmux#36856 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation good first issue help wanted
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 90/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Shell framework build fails at "copy the shader libraries": the iOS shader libraries are now one file b-<chain>.imgCó thể đã có người làm @xiaofeng-han đã nhận hôm nay. Đang mởbuild ios
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày