finetuning on v4-32 dies suddenly

Aperta
#1,050 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
Più di una settimana
Idoneità per principianti
12/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
jupyter-notebook

Direzione di ricerca

The payload names no source file, test or entry point; the only pointers are the Gemma distributed tuning guide linked in the body and the nohup-launched script it describes. Start by reproducing the run on a v3-8 or v4-32 slice and capturing host and TPU logs to see why the process is killed. Done would mean identifying the cause, such as memory exhaustion or preemption, or getting a maintainer to confirm it is server-side.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Finetuning for gemma dies suddenly after about 12 hours. There are no warnings or messages in the output logs, the process is just killed.
image
The script https://ai.google.dev/gemma/docs/distributed_tuning was being run using nohup.

What could be some possible debugging steps or is this a server-side problem?
I experienced the same behaviour in v3-8 devices.

Lingua principale
Jupyter Notebook
Stelle
5.3k
Fork
1.7k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di tensorflow/tpu

Tutte le issue di tensorflow/tpu

Issue simili

Altre issue su DevOps

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.