Improve hashing management for large file parts
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 22/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- performance
Rechercherichtung
The issue asks for hashing of large file parts to move off the main sync thread, possibly into a multiprocessing pool behind a new parameter. The payload names no files or tests, so start by locating the sync path where hashing and uploads are scheduled and how the existing executor is passed in. Done would mean a design agreed in the thread first, then a parameter that parallelizes hashing with a test showing the upload threads are not starved. Expect to ask maintainers about the design before writing code.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Currently during sync the main thread does all the hashing aggresively, which can put it hundreds or thousands of parts ahead of the uploading threads.
I suggest we introduce a new parameter (to emerge executor?) which will create a multiprocessing pool which will farm out those hashing requests to separate processes, so that it can be parallelized over many cores for a generally faster operation. This also partially addreses the pycurl problem where performance may increase to a point where we'll want to avoid hashing in the main thread.
- Vorherrschende Sprache
- Python
- Sterne
- 214
- Forks
- 68
- Ø Merge
- 51 Min.
- Gemergte PRs (30 T.)
- 6
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus Backblaze/b2-sdk-python
-
Download and copy sync actions print remote file names without escape_control_charsEvtl. vergeben @dreyfus92 hat das vor 15 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Backblaze/b2-sdk-python#631 ·
Maintainer antworten meist innerhalb von 1 Tag
-
SqliteAccountInfo profile name validation uses "re.match", so only the first character is checkedEvtl. vergeben @nazarli-shabnam hat das vor 9 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
Backblaze/b2-sdk-python#629 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Adopt the AI-native SDLC and repository policiesEvtl. vergeben @goanpeca hat das vor 18 Tagen übernommen. Offenenhancement
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
Backblaze/b2-sdk-python#634 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 50/100
Backblaze/b2-sdk-python#630 ·
Maintainer antworten meist innerhalb von 1 Tag
-
ci: cli-compat fails — 4 sse/sync integration tests broken in B2_Command_Line_Tool (all environments)Evtl. wieder frei @ffumero2003 hat das vor 37 Tagen übernommen, und es ist kein Pull Request offen. Offenbug testing
Backblaze/b2-sdk-python#627 · 2 Kommentare · 1 zugewiesene Person ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in Backblaze/b2-sdk-python
Ähnliche Issues
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 72/100
btclib-org/btclib-node#2505 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
open-webui/open-webui#34462 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
gorakhargosh/watchdog#1462 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100
openwisp/openwisp-monitoring#889 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
IETF-Hackathon/pqc-certificates#351 ·
Maintainer antworten meist innerhalb von 2 Tagen