Uniform predictions (identical saliency scores) during TVSum dataset evaluation with Lighthouse pipeline
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- computer-vision, machine-learning
Direzione di ricerca
Inizia da training/evaluate.py e riproduci il problema usando il comando di valutazione TVSum, il checkpoint e il percorso JSONL forniti. Esamina le forme delle feature i3d_clip caricate, il caricamento dei dati e il post-processing, confrontando al contempo i punteggi predetti tra diverse finestre temporali. Il lavoro è completato quando viene identificata la causa delle predizioni identiche e viene confermato che la valutazione produce punteggi non uniformi.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
When evaluating the Lighthouse model on the TVSum dataset using the provided scripts, the model outputs identical highlight scores across all time windows, despite following the tutorial steps.
eval_command:
python /lighthouse/training/evaluate.py --model uvcom --dataset tvsum --feature i3d_clip --domain BK --split val --model_path checkpoints/results/uvcom/tvsum/i3d_clip/BK/best.ckpt --eval_path data/tvsum/tvsum_val_release.jsonl
I printed out the saliency score predictions during the evaluation, and a screenshot is attached below to show the output.
1.Are there known issues with TVSum evaluation in the current version?
2.Could the problem stem from data loading or post-processing steps or shape problem of loaded features?
However, i downloaded all the checkpoints and extracted-features from the link on lighthouse repo page.
Appreciate your guidance to resolve this issue.
- Lingua principale
- Python
- Stelle
- 272
- Fork
- 22
- Merge medio
- 18h 54m
- PR unite (30g)
- 1
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di line/lighthouse
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
line/lighthouse#75 · 1 commento ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
line/lighthouse#74 · 2 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
line/lighthouse#72 · 1 commento ·
-
Support UMTAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
line/lighthouse#60 ·
-
Support R2-TuningAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
line/lighthouse#59 ·
Tutte le issue di line/lighthouse
Issue simili
-
Wayback LinksAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
chnm/teachinghistory-hugo#53 ·
-
gpt-oss "Forcing a tool call" row no longer reproduces: tool_choice is now honoured on every surfaceAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
aws-samples/sample-per-model-bedrock#840 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
521xueweihan/HelloGitHub#4318 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
DiamondLightSource/eiger-correction#2 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
django-cms/djangocms-frontend#413 ·