apple/turicreate

Inefficient implementation on checking if path is a s3 directory

Open

#3,049 opened on 2020年3月14日

GitHub で見る
 (0 comments) (0 reactions) (0 assignees)C++ (11,135 stars) (1,161 forks)batch import
S3good first issue

説明

our current implementation of s3 is_directory is to exhaust all keys under a certain URL (a.k.a, prefix, "folder" or "group") and compare the URL with each item returned, e.g., Contents[Key] and CommonPrefixes. This is a bad practice if the URL contains many keys and the comparison is linear O(n).

Besides that, is_directory is widely used in our codebase, not to mention the time complexity, the network delay will be observable.

A solution should be,

  • head on URL assuming it's an object. If 404, then
  • list-objects --with-delimiter and --max-items=1, and check the CommonPrefixes section. You can provide an extra parameter to tell list_objects_impl to do so by setting the max keys to return.

コントリビューターガイド

技術スタック
cppaws
領域
performanceinfrastructure
Issue 種別
performance
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-3 hours
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
stale
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
clear
前提条件
Basic knowledge of AWS S3 operationsFamiliarity with the turicreate codebase structure
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
70
調査方針
Investigate the implementation of `is directory` in the S3 file system code. The current implementation exhaustively lists all keys. Replace it with a two step approach: first HEAD on the URL, then if 404, list objects with delimiter and max items=1, checking CommonPrefixes. The relevant function is likely in the S3 storage adapter file. Ensure the change is efficient and handles edge cases.