AE+CLIP+SSL Loss Balancing Coefficients
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 20/100
- Tipo di issue
- Documentazione
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
Start with the updated technical report and the VTP tokenizer pre-training materials; no repository file or test is named in the issue. Clarify the loss coefficients and any training tricks used when AE, CLIP, and SSL objectives are combined, then document the answer where contributors can find it.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hello @JingfengYao thank you for the great work. I am trying to reproducing the VTP tokenizer pre-training with all AE+CLIP+SSL objectives. In your updated technical report, I can see:
For weighting, we set 𝜆_rec = 0.1, while 𝜆_clip and 𝜆_ssl are set to either 0 or 1.
However, I guess that's for the AE+CLIP or AE+SSL version.
May I know how do you set the loss weighting coefficients when all the three objectives are present? I am also curious if you apply some tricks regarding this version during training.
I would appreciate any help on this.
- Lingua principale
- Python
- Stelle
- 509
- Fork
- 16
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di MiniMax-AI/VTP
-
About pretrain datasetAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
MiniMax-AI/VTP#10 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
MiniMax-AI/VTP#9 · 1 commento ·
-
Release of dataset features?Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
MiniMax-AI/VTP#6 · 1 commento ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
MiniMax-AI/VTP#5 · 1 commento ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
MiniMax-AI/VTP#4 · 1 commento · 1 reazione ·
Tutte le issue di MiniMax-AI/VTP
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
conda-forge/conda-build-feedstock#289 · 1 commento · 1 reazione ·
-
`pulptest` no longer works in 4.0.0: `ImportError: Start directory is not importable: 'pulp/tests'`Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
remove reddit feedsAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
TomCasavant/ohio-sites#224 ·