ServerlessBackend creates a new W&B run per training step, causing "Run finished" alerts to fire on every step
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 48/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- backend, machine-learning
Direzione di ricerca
Inizia tracciando ServerlessBackend da model.register() attraverso backend.train() e backend.close(), e verifica come ogni chiamata di training crea la propria run W&B. Riproduci il ciclo descritto nell'issue e valuta l'opzione esistente wandb.Settings; il lavoro è completato quando una sessione di training non produce più un avviso indesiderato Run finished a ogni passaggio.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi, I ran into an issue while training with ServerlessBackend.
Problem
When using ServerlessBackend, each call to backend.train() creates a separate W&B run. This means that if "Run
finished" Slack notifications are enabled in W&B User Settings, a notification is sent on every training step — 50
steps means 50 Slack notifications, which is extremely noisy in practice.
Reproduction
for step in range(NUM_STEPS):
finished = await art.gather_trajectory_groups(groups)
result = await backend.train(model, finished, learning_rate=1e-5)
# ↑ Each call creates and finishes a separate W&B run
Expected behavior
One of the following would address this:
- Consolidate the entire training session (
model.register()throughbackend.close()) into a single W&B run - Handle per-step runs in a way that does not trigger W&B alerts (e.g. via
wandb.Settings) - Provide a user-configurable option to control this behavior
Workaround
Currently the only option is to disable "Run finished" notifications globally in W&B User Settings, but this silences
notifications for all projects — not ideal. W&B does not currently support per-project alert configuration.
Thanks for the great library!
- Lingua principale
- Python
- Stelle
- 10.8k
- Fork
- 997
- Merge medio
- 10h 1m
- PR unite (30g)
- 117
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenPipe/ART
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100
OpenPipe/ART#961 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
OpenPipe/ART#949 · 5 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 42/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di OpenPipe/ART
Issue simili
-
customer-reported
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Azure/azure-cli#34150 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
community-request
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
NVIDIA-NeMo/Curator#2464 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
weblate-discover crashes with an unhandled FileNotFoundError when the directory does not existAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
WeblateOrg/translation-finder#1099 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
trezor/trezor-firmware#7997 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno