Simultaneously read multiple Datasets into an Xarray-Beam pipeline
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- python
调研方向
首先阅读现有的 xbeam.DatasetToChunks 入口点，以及 issue 中描述的当前 beam.CoGroupBykey 方法。定义单个 transform 应如何接受多个 xarray.Dataset 对象，并在不进行额外磁盘写入的情况下输出带键的数据集元组。当所提议的元组输出能够在 Xarray-Beam pipeline 中处理多个 dataset 时，即视为完成。
由索引模型根据 Issue 内容生成。
描述
It is relatively common to need to load multiple xarray.Dataset objects, e.g., to compare two different models.
This currently can be done by loading data with separate calls to xbeam.DatasetToChunks, and by joining together the result with beam.CoGroupBykey. This works but is rather inefficient, involving an extra write of the data to disk. Ideally we could load the data in a single beam transform instead, e.g., xbeam.DatasetToChunks([ds1, ds2], chunks) would return a PCollection with elements of type tuple[xbeam.Key, tuple[xarray.Dataset, xarray.Dataset]].
CC @alxmrs
- 主要语言
- Python
- 星标
- 170
- 派生
- 15
- 平均合并
- 1 天 4 小时
- 30 天内合并 PR
- 1
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
google/xarray-beam 的其他 Issue
-
`OverflowError` when a chunk exceeds 2 GB可能已有人在做 @chase-dwelle 于 156 天前认领。 未关闭
难度 2/5 1-3 小时 新手友好度 76/100
google/xarray-beam#196 ·
-
难度 5/5 一周以上 新手友好度 25/100
google/xarray-beam#199 ·
-
难度 4/5 3-5 天 新手友好度 30/100
google/xarray-beam#195 ·
-
难度 5/5 一周以上 新手友好度 30/100
google/xarray-beam#173 ·
-
难度 4/5 3-5 天 新手友好度 35/100
google/xarray-beam#124 ·
查看 google/xarray-beam 的全部 Issue
相似的 Issue
-
bug needs-triage priority:medium
难度 2/5 1-3 小时 新手友好度 86/100
yeongseon/azure-functions-logging-python#583 ·
维护者通常 1 天内回复
-
documentation needs-triage priority:medium
难度 2/5 1-3 小时 新手友好度 85/100
yeongseon/azure-functions-validation-python#546 ·
维护者通常 1 天内回复
-
PHP workflow streaming requests buffer the full SSE response可能已有人在做 @Winoren 今天认领。 未关闭review: medium
难度 2/5 1-3 小时 新手友好度 84/100
langgenius/dify#44270 · 1 条评论 · 1 个 reaction ·
维护者通常 1 天内回复
-
P4: low
难度 2/5 1-3 小时 新手友好度 82/100
jeffknupp/association#523 ·
-
bug help wanted
难度 2/5 1-3 小时 新手友好度 65/100
DarkStarSystems/pcons#229 ·
维护者通常 1 天内回复