Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Feature] Support data_parser in kv_batch_get_by_meta

Aperta Adatta ai principianti
  • Qualcosa non va?
#194 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
72/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
data

Direzione di ricerca

I wrapper _by_meta si trovano in transfer_queue/interface.py; inizia da kv_batch_get_by_meta e dalla sua controparte asincrona, poi dalla firma esistente di kv_batch_get, che accetta già data_parser e parser_args. Aggiungi i due parametri alle firme _by_meta e inoltrali ad async_kv_batch_get, mantenendo l'allineamento di parser_args con meta.keys. È completato quando la chiamata di esempio nell'issue viene eseguita e il test e2e copre il percorso _by_meta.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Background

#191 added data_parser / parser_args to kv_batch_get and async_kv_batch_get. The _by_meta variants were left out of that PR.

Problem

kv_batch_put returns a KVBatchMeta, and kv_batch_get_by_meta is the natural way to read those samples back, but it does not accept a parser:

meta = tq.kv_batch_put(keys=keys, partition_id="train", fields=fields)
data = tq.kv_batch_get_by_meta(meta, select_fields="input_ids", data_parser=trim, parser_args=lengths)
# TypeError: kv_batch_get_by_meta() got an unexpected keyword argument 'data_parser'

Callers have to unpack the meta and call kv_batch_get(keys=meta.keys, partition_id=meta.partition_id, ...) instead.

Proposal

  • Add data_parser and parser_args to kv_batch_get_by_meta and async_kv_batch_get_by_meta, with the same contract as kv_batch_get; parser_args is aligned with meta.keys.
  • Forward both to async_kv_batch_get, which the _by_meta variants already call and which already handles the parser, including the parser_args checks.
  • Cover the _by_meta path in the existing e2e test for the get-side data_parser.

Related PR: #191

Lingua principale
Python
Stelle
166
Fork
56
Merge medio
4g 1h
PR unite (30g)
15

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Ascend/TransferQueue

Tutte le issue di Ascend/TransferQueue

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.