Sync incomplete

Aperta
#600 10 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
cloud, python
Ambito
cli

Direzione di ricerca

The payload names no files. Start from the sync command and find where upload errors are handled, looking for the ERROR: sync is incomplete message and how HTTP 503 responses from B2 are treated. Reproducing it needs a large sync with many threads, which is hard to do locally. Done means a 503 during sync is retried rather than failing the whole run, and that retry behaviour is covered by a test.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

I'm using the command line to sync a lot of small files to B2. A typical sync is 600,000 files and a couple hundred Gb in size. When performing syncs occasionally they will go through without an issue but most of the time I will see 503 errors. I know how B2 works so this is usually not concerning but on a large sync with 10-15 threads running sometimes I will see this for a couple minutes straight with no successful uploads. At the same time I see the "updated files" count increasing and when the sync does finish I receive a "ERROR: sync is incomplete". If they are 503 errors shouldn't the sync be reattempting the connection?

Lingua principale
Python
Stelle
638
Fork
138
Merge medio
8h 27m
PR unite (30g)
8

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Backblaze/B2_Command_Line_Tool

Tutte le issue di Backblaze/B2_Command_Line_Tool

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.