apple/turicreate

Inefficient implementation on checking if path is a s3 directory

Open

#3.049 geöffnet am 14. März 2020

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)C++ (1.161 Forks)batch import
S3good first issue

Repository-Metriken

Stars
 (11.135 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

our current implementation of s3 is_directory is to exhaust all keys under a certain URL (a.k.a, prefix, "folder" or "group") and compare the URL with each item returned, e.g., Contents[Key] and CommonPrefixes. This is a bad practice if the URL contains many keys and the comparison is linear O(n).

Besides that, is_directory is widely used in our codebase, not to mention the time complexity, the network delay will be observable.

A solution should be,

  • head on URL assuming it's an object. If 404, then
  • list-objects --with-delimiter and --max-items=1, and check the CommonPrefixes section. You can provide an extra parameter to tell list_objects_impl to do so by setting the max keys to return.

Contributor Guide

Research-Richtung
Untersuche die Implementierung von `is directory` im S3 Dateisystemcode. Die aktuelle Implementierung listet alle Schlüssel erschöpfend auf. Ersetze sie durch einen zweistufigen Ansatz: zuerst HEAD auf die URL, dann, falls 404, Objekte mit Trennzeichen und max items=1 auflisten und CommonPrefixes prüfen. Die relevante Funktion befindet sich wahrscheinlich in der S3 Speicheradapterdatei. Stelle sicher, dass die Änderung effizient ist und Randfälle behandelt.
Tech Stack
cppaws
Domain
performanceinfrastructure
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Basic knowledge of AWS S3 operationsFamiliarity with the turicreate codebase structure
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70