[Feature]: follow-up to PyTorch allocation provider to accept already rendezvoused tensors
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 15/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Attiva
- Ambito
- distributed-systems
Direzione di ricerca
The payload names no source files or tests. It refers to the earlier PyTorch allocation provider in #551, torch.distributed._symmetric_memory, and the single-map iris.copy limitation, so start by reading #551 and the provider it added. Done would need an agreed API for accepting pre-rendezvoused tensors, which the issue does not yet define, so settle that design with maintainers first.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Suggestion Description
#551 provides capability to run Iris device kernels with memory allocated via PyTorch, with no copy, no second heap, and no kernel changes.
and we agreed on extending it to accept tensors frameworks have already rendezvoused , because users might want to manage the memory.
Overall Motivation behind #551 and this feature request is as follows:
- Some of the inference stack already uses torch.distributed.symmetric_memory. TokenSpeed's amd_rsag* path, the TritonAllReduceBackend, and the torch.ops.symm_mem.* collectives that vLLM and SGLang-style engines may call all allocate through it. Until now, using an Iris kernel meant moving those buffers into the Iris heap. This provider lets the two coexist: a framework keeps its torch allocations, and individual Iris kernels can run on them.
- Frameworks that already own their buffers can't use Iris device kernels until the follow-up lands.
- The single-map
iris.copylimitation also means it does not yet make every Iris operation work across independently allocated tensors
Operating System
No response
GPU
No response
ROCm Component
No response
- Lingua principale
- Python
- Stelle
- 202
- Fork
- 52
- Merge medio
- 5g 2h
- PR unite (30g)
- 23
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ROCm/iris
-
core examples good first issue help wanted iris python
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 2 giorni
-
benchmarks bug examples iris test
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 2 giorni
-
bug examples invalid iris
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 2 giorni
-
enhancement gluon help wanted iris
Difficoltà 5/5 Più di una settimana Idoneità per principianti 18/100
I maintainer di solito rispondono entro 2 giorni
-
good first issue help wanted iris
Difficoltà 3/5 Mezza giornata Idoneità per principianti 62/100
I maintainer di solito rispondono entro 2 giorni
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
EchoTools/nevr-runtime#651 ·
I maintainer di solito rispondono entro 1 giorno
-
bug frontend rt sev-3
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
noontide-co/mainbranch#1211 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
[1.x Bug] run-operation --sql reports success but rolls back writes on transaction-capable adaptersApertatriage
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
dbt-labs/dbt#16784 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno