[Performance] RDT vs Direct YuanrongStore Backend Performance Analysis

I maintainer di solito rispondono entro 1 giorno

Valutazione

Direzione di ricerca

Descrizione

Background

Currently, TransferQueue supports multiple transmission backends, including:

• RDT (Ray Direct Transport): The native distributed transmission mechanism of Ray, usually using NIXL as the underlying transmission between GPUs

• YR (YuanrongStore): A high-performance data transmission system optimized for the NPU architecture, similar in function to NIXL but more suitable for the Ascend hardware

The purpose of this issue is to benchmark and analyze the performance overhead introduced by RDT (Ray Distributed Object Store) when using DS as the transmission backend. We conducted a comparative test between two scenarios on NPU cross-node environments:

• TQ-RDT-YR: TransferQueue using RDT as the backend, where RDT uses YuanrongStore for data transmission.

• TQ-YR: TransferQueue using YuanrongStore directly for data transmission.

Key Objectives

Evaluate the performance cost of the RDT layer.

Test Results

TQ-RDT-YR Get Cost

seq_length	total_size	TQ CLIENT get (s)	Ray Storage Client get (s)	BandWidth (GB/s)	BW_RayStorageClient (GB/s)
32 KB	64MB	0.86	0.85	0.07	0.07
128 KB	256MB	0.85	0.83	0.30	0.30
512 KB	1 GB	0.93	0.91	1.07	1.10
1 MB	2 GB	0.95	0.94	2.10	2.13
2 MB	4 GB	1.13	1.11	3.55	3.61
4 MB	8 GB	1.43	1.41	5.58	5.68
8 MB	16 GB	13.60	1.80	1.18	8.88

TQ-YR Get Cost

seq_length	total_size	TQ CLIENT get (s)	Ray Storage Client get (s)	BandWidth (GB/s)	BW_RayStorageClient (GB/s)
32 KB	64MB	0.14	0.12	0.46	0.52
128 KB	256MB	0.15	0.13	4.69	1.87
512 KB	1 GB	0.14	0.12	7.18	8.07
1 MB	2 GB	0.17	0.15	12.10	13.35
2 MB	4 GB	0.26	0.25	15.20	16.21
4 MB	8 GB	0.51	0.47	15.71	17.13
8 MB	16 GB	12.77	0.90	1.25	17.85

Proposed Analysis

Regarding the reason for the time difference in the RayStorageClient.get in the two scenarios, we speculate that it is because YRStore performs batch processing, getting all items together in one batch, while RayStore processes them individually. Each key is a separate reference, and even when calling yr.get, only one can be transferred at a time.

Remaining doubts

• When the total data volume reached 16GB, the time taken from the TQ Client to RayStore/YRStore suddenly increased significantly. Looking at the green section in the figure below, you can see that it suddenly expands significantly when the capacity reaches 16GB.

Preparare l'ambiente

Come iniziare

1. Leggi tutta la issue e poi la guida ai contributi del progetto.
2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
3. Fai un fork del repository e lavora su un branch.
4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Ascend/TransferQueue

• [Feature] Support data_parser in kv_batch_get_by_meta

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

  Ascend/TransferQueue#194 · Aperta il 14/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [doc] Document the contract of storage-side callables (data_parser, merge_fn) with a tutorial

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100

  Ascend/TransferQueue#195 · Aperta il 14/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Concurrent kv_put(tag=...) on one key loses tag updates

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

  Ascend/TransferQueue#188 · Aperta il 9/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Feature] Follow up on #162: sparse tensor SSD offload and io_uring

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

  Ascend/TransferQueue#180 · Aperta il 24/9/2026

  I maintainer di solito rispondono entro 1 giorno

• [Roadmap] Payload Transfer in TransferQueue

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

  Ascend/TransferQueue#173 · 2 commenti · 1 reazione · Aperta il 11/9/2026

  I maintainer di solito rispondono entro 1 giorno

Tutte le issue di Ascend/TransferQueue

Issue simili

• No test checks that scheduled workflows declare minimal permissions, concurrency and a timeout

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  ci enhancement testing

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  yakew7/Fair-Code#1210 · Aperta il 27/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug]: Standalone Telegram send lane ignores HERMES_TELEGRAM_HTTP_* timeouts (falls back to PTB 5s/1s defaults)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  area/config comp/tools P2 platform/telegram type/bug

  Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100

  NousResearch/hermes-agent#145412 · Aperta il 27/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [oblt-aw][autodoc] Update docs for security org scaffolding and Docs AI menu permission changes

  Forse già presa @github-actions l’ha presa oggi. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

  elastic/oblt-aw#2457 · Aperta il 27/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [curriculum-eval] curriculum_assessment.py: checkpoint_quality — regex misses `:white_check_mark:` headings, 92/94 pages scored 0

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  curriculum documentation quality

  Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100

  githubnext/gh-aw-workshop#5039 · Aperta il 27/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Community project: hosted MOSS-Image studio with a visual JSON layout builder (no ComfyUI needed)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 1-3 ore Idoneità per principianti 65/100

  OpenMOSS/MOSS-Image#27 · 1 commento · Aperta il 27/10/2026

  I maintainer di solito rispondono entro 1 giorno

Altre issue su Python