container.list_objects with prefix and the local driver is very slow when a lot of files are stored
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
该 issue 指向本地驱动程序的 container.list_objects 路径；从这里开始，检查对象在按前缀过滤之前是如何序列化的。使用大量本地对象和一个前缀重现该报告，然后验证匹配的对象能够返回，且没有报告中所述的数分钟延迟。
由索引模型根据 Issue 内容生成。
描述
Summary
I have a large storage that I'm using libcloud to manage - in this specific case it's around 500,000 objects, and I've noticed that listing object using the local driver and a prefix is very slow (took almost 2 minutes to return 90 objects).
Detailed Information
In the local driver implementation when calling list_objects with a prefix - we firstly get all the objects and serialize them and just after that we are filtering by the prefix.
Found on python3.6.8 with libcloud 3.2.0 and ubuntu 16:04
- 主要语言
- Python
- 星标
- 2.1k
- 派生
- 935
- 平均合并
- 5 天 3 小时
- 30 天内合并 PR
- 15
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/libcloud 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 76/100
维护者通常 1 天内回复
-
难度 1/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复
-
Local range download leaves an output file after source-read failure despite delete_on_failure=True未关闭
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 15/100
apache/libcloud#2215 · 3 条评论 · 2 个 reaction ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
维护者通常 1 天内回复
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 85/100
-
难度 2/5 1-3 小时 新手友好度 62/100
OCA/account-invoicing#2529 ·
维护者通常 1 天内回复
-
area/ci
难度 1/5 1 小时以内 新手友好度 62/100
维护者通常 1 天内回复
-
ImageGen generate-batch aborts valid JSONL jobs containing a Unicode line separator in poster text未关闭bug imagen skills
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
Email validation accepts a trailing newline可能已有人在做 @marcello-pichini 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复