Optimizing data upload transfer size
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 25/100
- Issue 類型
- 功能
- 描述清晰度
- 需要釐清
- 活躍度
- 停滯
- 技術堆疊
- python
- 領域
- data, performance
研究方向
從 upload_frame 路徑開始，該路徑會在將資料上傳到 CAS 之前將其轉換為 CSV。調查是否支援二進位或壓縮傳輸，然後測量大型全數值表格的上傳情況；完成的標準是有一種經過文件記錄或已實作的方法，能夠在不破壞上傳行為的情況下減少傳輸大小。
由索引模型根據 Issue 內容生成。
描述
Hi, in my project I usually upload from local very large tables with the following characteristic: all columns are numeric (double).
I saw that with upload_frame data is first converted to csv and then the csv is uploaded on CAS.
I was thinking about the fact that in the "plain" csv every character takes 1 byte, so for instance the number 123456.123456 uses 13 bytes: but if this number is converted to its float binary representation, it would take 8 bytes: this little "gain" of 5 bytes, repeated for every row and every column may lead to a huge gain in file transfer size for bandwidth and time.
Or perhaps the "plain" csv may be gzipped to greatly reduce the file size since inside there are only a few distinct characters (i.e. the numbers).
Any Idea/hint you can give me to optimize the data upload transfer size in a smart way?
Thank you.
- 主要語言
- Python
- 星號
- 159
- 分支
- 66
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
sassoftware/python-swat 的其他 Issue
-
難度 4/5 3-5 天 新手友好度 30/100
sassoftware/python-swat#191 · 1 則留言 ·
-
難度 3/5 1-2 天 新手友好度 35/100
sassoftware/python-swat#183 · 1 則留言 ·
-
難度 4/5 3-5 天 新手友好度 25/100
sassoftware/python-swat#180 ·
-
難度 2/5 1-3 小時 新手友好度 35/100
sassoftware/python-swat#178 ·
-
難度 4/5 3-5 天 新手友好度 25/100
sassoftware/python-swat#177 · 1 則留言 ·
查看 sassoftware/python-swat 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 78/100
fritzprix/libr-agent#2612 ·
維護者通常 1 天內回覆
-
needs-triage presubmit-gate
難度 2/5 1-3 小時 新手友好度 76/100
gke-labs/kube-agents#5001 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 84/100
simonw/sqlite-utils#928 ·
維護者通常 3 天內回覆
-
colorado
難度 2/5 1-3 小時 新手友好度 72/100
freelawproject/juriscraper#2405 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 66/100
cline/mcp-marketplace#3576 ·