Problems about Inference on Video-MME
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 35/100
- Type d'issue
- Documentation
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- bash, python
- Domaine
- documentation, machine-learning
Piste de recherche
Start with README evaluation instructions and scripts/eval/eval_ov_encoder.sh, focusing on how MODEL_PATH is selected for the VideoMME task. Check the repository and referenced Hugging Face organizations for the expected checkpoint. Done means the documentation or script clearly identifies an available LLaVA-integrated checkpoint, or explicitly explains that it is not released.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Brilliant work on OneVision-Encoder! 🎉
I'm trying to reproduce the LLaVA-NeXT-Video evaluation results following the instructions in the README.
For video benchmarks (e.g., VideoMME), I ran:
TASKS="videomme" bash scripts/eval/eval_ov_encoder.sh
However, I noticed this line in the script:
MODEL_PATH="${MODEL_PATH:-trained_model/must_contain_llava_in_name}"
I've searched through the repository and the Hugging Face organization (lmms-lab-encoder / lmms-lab), but I couldn't find a released model checkpoint whose name contains "llava".
❓ Could you clarify:
Am I misunderstanding the evaluation workflow?
Or is the LLaVA-integrated checkpoint not yet publicly released?
Any guidance would be greatly appreciated! Thanks again for the amazing work. 🙏
- Langage dominant
- Python
- Étoiles
- 403
- Forks
- 20
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Aucun modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de EvolvingLMMs-Lab/OneVision-Encoder
-
Question Regarding the paperOuverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 20/100
-
Verify evals on Papers with CodeOuverte
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 45/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
EvolvingLMMs-Lab/OneVision-Encoder#116 · 1 commentaire ·
Toutes les issues de EvolvingLMMs-Lab/OneVision-Encoder
Issues similaires
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 92/100
-
Harmony OPeNDAP SubSetter (HOSS) Geographic LARC_CLOUD PREFIRE_SAT2_AUX-SAT R01 production
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
nasa/harmony-autotester#245 ·
-
[FEATURE] - Add UTVD supportOuverteenhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
Deltares/imod-python#1928 ·
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
Les mainteneurs répondent en général sous 1 jour
-
feature
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100