open-guides/og-aws

S3: Discuss ways to list and tally objects efficiently

Open

#58 ouverte le 2 sept. 2016

Voir sur GitHub
 (9 commentaires) (0 réactions) (0 assignés)Shell (3 905 forks)batch import
help wantedunder discussion

Métriques du dépôt

Stars
 (36 412 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Topics:

  • Listing and pagination
  • Need for multi-threaded S3 crawl over keys for speed
    • Prefix-based listings, with separators
    • Hash-type prefixes with known alphabet, uniform distribution
  • Possibly: Reassigning work; using markers to optimize if alphabet is not known
  • Tallying usage by mapreduce over keys that propagate usage up by folder

https://docs.aws.amazon.com/AmazonS3/latest/API/RESTBucketGET.html

Guide contributeur

Direction de recherche
Étudiez l'API REST S3 pour lister les objets avec pagination, explorez les stratégies de crawling multithread utilisant la parallélisation basée sur les préfixes, et concevez une approche de type mapreduce pour totaliser l'utilisation par dossier. Une réaffectation du travail à l'aide de marqueurs peut être nécessaire pour les distributions de clés non uniformes.
Stack technique
Aucun
Domaine
cloud
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
AWSS3
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30