Improve hashing management for large file parts
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 22/100
- Tipo de issue
- Funcionalidade
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Stack de tecnologia
- python
- Domínio
- performance
Direção de pesquisa
The issue asks for hashing of large file parts to move off the main sync thread, possibly into a multiprocessing pool behind a new parameter. The payload names no files or tests, so start by locating the sync path where hashing and uploads are scheduled and how the existing executor is passed in. Done would mean a design agreed in the thread first, then a parameter that parallelizes hashing with a test showing the upload threads are not starved. Expect to ask maintainers about the design before writing code.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Currently during sync the main thread does all the hashing aggresively, which can put it hundreds or thousands of parts ahead of the uploading threads.
I suggest we introduce a new parameter (to emerge executor?) which will create a multiprocessing pool which will farm out those hashing requests to separate processes, so that it can be parallelized over many cores for a generally faster operation. This also partially addreses the pycurl problem where performance may increase to a point where we'll want to avoid hashing in the main thread.
- Linguagem predominante
- Python
- Estrelas
- 214
- Forks
- 68
- Merge médio
- 51min
- PRs com merge (30d)
- 6
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de Backblaze/b2-sdk-python
-
Download and copy sync actions print remote file names without escape_control_charsTalvez já em andamento @dreyfus92 assumiu há 15 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Backblaze/b2-sdk-python#631 ·
Mantenedores costumam responder em até 1 dia
-
SqliteAccountInfo profile name validation uses "re.match", so only the first character is checkedTalvez já em andamento @nazarli-shabnam assumiu há 9 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
Backblaze/b2-sdk-python#629 ·
Mantenedores costumam responder em até 1 dia
-
Adopt the AI-native SDLC and repository policiesTalvez já em andamento @goanpeca assumiu há 18 dias. Abertaenhancement
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
Backblaze/b2-sdk-python#634 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 50/100
Backblaze/b2-sdk-python#630 ·
Mantenedores costumam responder em até 1 dia
-
ci: cli-compat fails — 4 sse/sync integration tests broken in B2_Command_Line_Tool (all environments)Talvez livre de novo @ffumero2003 assumiu há 37 dias e não há nenhum pull request aberto. Abertabug testing
Backblaze/b2-sdk-python#627 · 2 comentários · 1 responsável ·
Mantenedores costumam responder em até 1 dia
Todas as issues de Backblaze/b2-sdk-python
Issues semelhantes
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 72/100
btclib-org/btclib-node#2505 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
open-webui/open-webui#34462 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
gorakhargosh/watchdog#1462 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100
openwisp/openwisp-monitoring#889 ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
IETF-Hackathon/pqc-certificates#351 ·
Mantenedores costumam responder em até 2 dias