Optimizing data upload transfer size
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 25/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- data, performance
Rechercherichtung
Beginne mit dem upload_frame-Pfad, der Daten vor dem Upload in CAS in CSV konvertiert. Untersuche, ob binäre oder komprimierte Übertragung unterstützt wird, und miss anschließend Uploads großer Tabellen, die ausschließlich numerische Werte enthalten; abgeschlossen bedeutet, dass ein dokumentierter oder implementierter Ansatz vorliegt, der die Übertragungsgröße reduziert, ohne das Upload-Verhalten zu beeinträchtigen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Hi, in my project I usually upload from local very large tables with the following characteristic: all columns are numeric (double).
I saw that with upload_frame data is first converted to csv and then the csv is uploaded on CAS.
I was thinking about the fact that in the "plain" csv every character takes 1 byte, so for instance the number 123456.123456 uses 13 bytes: but if this number is converted to its float binary representation, it would take 8 bytes: this little "gain" of 5 bytes, repeated for every row and every column may lead to a huge gain in file transfer size for bandwidth and time.
Or perhaps the "plain" csv may be gzipped to greatly reduce the file size since inside there are only a few distinct characters (i.e. the numbers).
Any Idea/hint you can give me to optimize the data upload transfer size in a smart way?
Thank you.
- Vorherrschende Sprache
- Python
- Sterne
- 159
- Forks
- 66
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus sassoftware/python-swat
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
sassoftware/python-swat#191 · 1 Kommentar ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
sassoftware/python-swat#183 · 1 Kommentar ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
sassoftware/python-swat#180 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 35/100
sassoftware/python-swat#178 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
sassoftware/python-swat#177 · 1 Kommentar ·
Alle Issues in sassoftware/python-swat
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 64/100
its-me-prash/vwgroup-connect-ha#2019 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
KonstantinStarovoytov/kitden#21 ·
Maintainer antworten meist innerhalb von 1 Tag
-
RefactorOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
ehmatthes/gh-profiler#166 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
smart-on-fhir/smart-fetch#73 ·
-
good first issue help wanted
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 85/100
RizgarOzan/playcal#13 ·