apple/turicreate

Inefficient implementation on checking if path is a s3 directory

Open

#3 049 ouverte le 14 mars 2020

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)C++ (1 161 forks)batch import
S3good first issue

Métriques du dépôt

Stars
 (11 135 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

our current implementation of s3 is_directory is to exhaust all keys under a certain URL (a.k.a, prefix, "folder" or "group") and compare the URL with each item returned, e.g., Contents[Key] and CommonPrefixes. This is a bad practice if the URL contains many keys and the comparison is linear O(n).

Besides that, is_directory is widely used in our codebase, not to mention the time complexity, the network delay will be observable.

A solution should be,

  • head on URL assuming it's an object. If 404, then
  • list-objects --with-delimiter and --max-items=1, and check the CommonPrefixes section. You can provide an extra parameter to tell list_objects_impl to do so by setting the max keys to return.

Guide contributeur

Direction de recherche
Étudiez l'implémentation de `is directory` dans le code du système de fichiers S3. L'implémentation actuelle liste exhaustivement toutes les clés. Remplacez la par une approche en deux étapes : d'abord une requête HEAD sur l'URL, puis si 404, listez les objets avec un délimiteur et max items=1, en vérifiant les CommonPrefixes. La fonction concernée se trouve probablement dans le fichier de l'adaptateur de stockage S3. Assurez vous que le changement est efficace et gère les cas limites.
Stack technique
cppaws
Domaine
performanceinfrastructure
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Basic knowledge of AWS S3 operationsFamiliarity with the turicreate codebase structure
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70