open-guides/og-aws

S3: Discuss ways to list and tally objects efficiently

Open

#58 aberto em 2 de set. de 2016

Ver no GitHub
 (9 comments) (0 reactions) (0 assignees)Shell (3.905 forks)batch import
help wantedunder discussion

Métricas do repositório

Stars
 (36.412 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Topics:

  • Listing and pagination
  • Need for multi-threaded S3 crawl over keys for speed
    • Prefix-based listings, with separators
    • Hash-type prefixes with known alphabet, uniform distribution
  • Possibly: Reassigning work; using markers to optimize if alphabet is not known
  • Tallying usage by mapreduce over keys that propagate usage up by folder

https://docs.aws.amazon.com/AmazonS3/latest/API/RESTBucketGET.html

Guia do colaborador

Direção de pesquisa
Estude a API REST do S3 para listar objetos com paginação, explore estratégias de rastreamento multithread usando paralelização baseada em prefixos e projete uma abordagem semelhante ao mapreduce para totalizar o uso por pasta. Pode ser necessário reatribuir trabalho usando marcadores para distribuições de chaves não uniformes.
Pilha de tecnologia
None
Domain
cloud
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
AWSS3
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30