open-guides/og-aws

S3: Discuss ways to list and tally objects efficiently

Aperta

#58 aperta il 2 set 2016

Vedi su GitHubGuida contributor
 (9 commenti) (0 reazioni) (0 assegnatari)Shell (3883 fork)batch import
help wantedunder discussion

Metriche repository

Star
 (36.441 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Topics:

  • Listing and pagination
  • Need for multi-threaded S3 crawl over keys for speed
    • Prefix-based listings, with separators
    • Hash-type prefixes with known alphabet, uniform distribution
  • Possibly: Reassigning work; using markers to optimize if alphabet is not known
  • Tallying usage by mapreduce over keys that propagate usage up by folder

https://docs.aws.amazon.com/AmazonS3/latest/API/RESTBucketGET.html

Guida contributor

Direzione di ricerca
Studia l'API REST di S3 per elencare oggetti con paginazione, esplora strategie di crawling multithread utilizzando la parallelizzazione basata su prefissi e progetta un approccio simile a mapreduce per totalizzare l'utilizzo per cartella. Potrebbe essere necessario riassegnare il lavoro utilizzando marcatori per distribuzioni di chiavi non uniformi.
Tech stack
Nessuno
Dominio
cloud
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
AWSS3
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30