Safe mode breaks Tinker training, loopback-only hosts crash at deploy, checkpoints unusable from stock Tinker SDK
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 30/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- docker, python
- Ambito
- backend, infrastructure, security
Direzione di ricerca
Three separate problems are reported, so split them before starting. Begin with check_unsafe in src/twinkle/infra/init.py near line 573 and the TWINKLE_TRUST_REMOTE_CODE path, then find_node_ip() in src/twinkle/utils/network.py and the MASTER_ADDR use in ray_helper.py, then checkpoint_manager.py for the twinkle:// paths. Done means forward_backward works with trust off, a loopback-only host deploys, and returned sampler paths are usable by the stock SDK.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
- I have searched existing issues, and this is a new bug report.
Bug Description
Three problems when running Twinkle 0.5.1 in an isolated container and using it from the stock Tinker SDK (source links at v0.5.1):
- Safe mode breaks Tinker training.
- With
TWINKLE_TRUST_REMOTE_CODE=0, everyforward_backwardfails withTwinkle does not support Callable or Type inputs in safe mode.The check ischeck_unsafeon the remote-call path (infra/init.py#L573). - So operators can't turn remote-code trust off, and it defaults to on.
- With
- Loopback-only hosts crash at deploy.
- Under e.g.
docker run --network none,find_node_ip()skips every127.*address and returnsNone(utils/network.py#L15-L28). - That
NonebecomesMASTER_ADDR(ray_helper.py#L336), and the deployment fails withTypeError: runtime_env['env_vars'] must be of type Dict[str, str]. - Also,
.locksis created in the CWD (utils/parallel.py#L9), which fails when the CWD is read-only.
- Under e.g.
- Checkpoints can't be used from the stock Tinker SDK.
save_weights_for_sampler()returnstwinkle://...paths, which the unpatched SDK rejects (ValueError: Invalid tinker path). There's also no archive/download endpoint.nameis ignored, and each save deletes the previous sampler weights (checkpoint_manager.py#L241-L285), so earlier returned paths go stale.
How to Reproduce
- Set
TWINKLE_TRUST_REMOTE_CODE: "0"in the model deployment'senv_vars, then callforward_backward(data, "cross_entropy"). - Start
ray start --head --node-ip-address=127.0.0.1andtwinkle-server launchinside a--network nonecontainer. - With
tinker==0.16.1, callget_checkpoint_archive_url_from_tinker_path(tc.save_weights_for_sampler(name="x").result().path).
Additional Information
Suggested fixes:
- Exempt Twinkle's built-in loss and template classes from
check_unsafe. - In
find_node_ip(), fall back to127.0.0.1(or the Ray node IP), and put.locksunderTWINKLE_HOMEor the temp dir. - Return
tinker://-compatible paths, add the Tinker archive endpoint, and honourname. That would let separate evaluators load trained adapters without patching the SDK.
Environment: twinkle-kit 0.5.1, ray 2.58.0, Ubuntu 24.04 container, tinker 0.16.1.
- Lingua principale
- Python
- Stelle
- 260
- Fork
- 55
- Merge medio
- 1g 11h
- PR unite (30g)
- 15
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di modelscope/twinkle
-
魔搭托管的 Twinkle API 持续超时Apertabug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 15/100
modelscope/twinkle#319 · 5 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
modelscope/twinkle#279 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di modelscope/twinkle
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
TomerAberbach/profiler-md#733 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
its-me-prash/vwgroup-connect-ha#1858 ·
I maintainer di solito rispondono entro 1 giorno
-
area: client bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
Deleting all alarms or timers shows deleted ones until the next update when there are none leftApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
leikoilja/ha-google-home#1107 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
Graphify-Labs/graphify#4524 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno