apple/turicreate

Inefficient implementation on checking if path is a s3 directory

Open

#3049 aperta il 14 mar 2020

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)C++ (1161 fork)batch import
S3good first issue

Metriche repository

Star
 (11.135 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

our current implementation of s3 is_directory is to exhaust all keys under a certain URL (a.k.a, prefix, "folder" or "group") and compare the URL with each item returned, e.g., Contents[Key] and CommonPrefixes. This is a bad practice if the URL contains many keys and the comparison is linear O(n).

Besides that, is_directory is widely used in our codebase, not to mention the time complexity, the network delay will be observable.

A solution should be,

  • head on URL assuming it's an object. If 404, then
  • list-objects --with-delimiter and --max-items=1, and check the CommonPrefixes section. You can provide an extra parameter to tell list_objects_impl to do so by setting the max keys to return.

Guida contributor

Direzione di ricerca
Indaga l'implementazione di `is directory` nel codice del file system S3. L'implementazione attuale elenca esaustivamente tutte le chiavi. Sostituiscila con un approccio in due fasi: prima una richiesta HEAD sull'URL, poi se restituisce 404, elenca gli oggetti con delimitatore e max items=1, controllando i CommonPrefixes. La funzione rilevante è probabilmente nel file dell'adattatore di archiviazione S3. Assicurati che la modifica sia efficiente e gestisca i casi limite.
Tech stack
cppaws
Dominio
performanceinfrastructure
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Basic knowledge of AWS S3 operationsFamiliarity with the turicreate codebase structure
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70