lance-format/lance

added a `localstore` scheme in `object_store.rs` for testing

Open

#1,376 创建于 2023年10月10日

在 GitHub 查看
 (1 评论) (0 反应) (0 负责人)Rust (695 fork)github user discovery
enhancementgood first issuehelp wantedrust

仓库指标

Star
 (6,582 star)
PR 合并指标
 (平均合并 6天 1小时) (30 天内合并 219 个 PR)

描述

we have a short cut in https://github.com/lancedb/lance/blob/main/rust/lance/src/io/object_store.rs#L607-L615, where we use the FS directly when we detect the file being read is a local file.

However, this makes testing object store behavior hard because we have to setup a object store fixture like localstack in order to test the CloudObjectReader path.

We can add a localstore scheme, where we can exercise object store code path with a local directory

贡献者指南

研究方向
实现一个新的URI方案'localstore'，该方案使用本地目录但完整地执行对象存储代码路径以进行测试。修改object store.rs以添加一个新方案，该方案包装本地文件系统，但通过CloudObjectReader（或对象存储抽象）来模拟云存储行为。审查现有的本地文件快捷方式和CloudObjectReader路径，以了解如何创建一个绕过直接FS访问的本地存储方案。
技术栈
rust
领域
backend
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
2
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-3 小时
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
Rust
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
70