[Feature] Support data_parser in kv_batch_get_by_meta
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
_by_meta ラッパーは transfer_queue/interface.py にあります。kv_batch_get_by_meta とその非同期版から始め、その後、すでに data_parser と parser_args を受け取る既存の kv_batch_get のシグネチャを確認してください。2つのパラメータを _by_meta のシグネチャに追加し、async_kv_batch_get に転送してください。その際、parser_args と meta.keys の対応関係を維持してください。issue の例の呼び出しが実行でき、e2e テストが _by_meta のパスをカバーしていれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Background
#191 added data_parser / parser_args to kv_batch_get and async_kv_batch_get. The _by_meta variants were left out of that PR.
Problem
kv_batch_put returns a KVBatchMeta, and kv_batch_get_by_meta is the natural way to read those samples back, but it does not accept a parser:
meta = tq.kv_batch_put(keys=keys, partition_id="train", fields=fields)
data = tq.kv_batch_get_by_meta(meta, select_fields="input_ids", data_parser=trim, parser_args=lengths)
# TypeError: kv_batch_get_by_meta() got an unexpected keyword argument 'data_parser'
Callers have to unpack the meta and call kv_batch_get(keys=meta.keys, partition_id=meta.partition_id, ...) instead.
Proposal
- Add
data_parserandparser_argstokv_batch_get_by_metaandasync_kv_batch_get_by_meta, with the same contract askv_batch_get;parser_argsis aligned withmeta.keys. - Forward both to
async_kv_batch_get, which the_by_metavariants already call and which already handles the parser, including theparser_argschecks. - Cover the
_by_metapath in the existing e2e test for the get-sidedata_parser.
Related PR: #191
- 主要言語
- Python
- スター
- 168
- フォーク
- 56
- 平均マージ
- 2日 13時間
- マージ済み PR(30日)
- 16
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Ascend/TransferQueue のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 55/100
Ascend/TransferQueue#195 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
Ascend/TransferQueue#188 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
Ascend/TransferQueue#180 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
Ascend/TransferQueue#173 · コメント 2 件 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[optim] MooncakeStore read path registers RDMA buffers on every get(), dominating end-to-end time再び着手できるかも @weiziyoung が 44 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンenhancement
Ascend/TransferQueue#169 · コメント 3 件 · リアクション 1 件 · 担当者 2 名 ·
メンテナーはふだん 1 日以内に返信
Ascend/TransferQueue の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
-
[oblt-aw][autodoc] Document obs-aw-automerge contract and fix automerge doc inconsistencies対応中かも @github-actions が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 1 日以内に返信
-
admission-deferred priority: medium status: ready work-class: scoped
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
melodic-software/claude-code-plugins#10887 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
backend bug good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
PoCInnovation/Distribox#255 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
google/langextract#598 ·
メンテナーはふだん 1 日以内に返信