finetune stage2 of Internvideo2 with num_frames 12 error
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 25/100
- Type d'issue
- Bug
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- machine-learning
Piste de recherche
Commencez dans tasks/shared_utils.py à la ligne 192, où setup_model charge le state dict, et reproduisez le stage2 finetuning avec num_frames 12. Comparez les shapes du checkpoint et du modèle actuel signalées pour vision_encoder.pos_embed, puis vérifiez que le chemin de chargement corrigé s’achève sans l’erreur size-mismatch.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
When I try to finetune stage2 of Internvideo2 with num_frames 12, I meet the error below:
[rank0]: File "/root/nginx/multi_modality/tasks/shared_utils.py", line 192, in setup_model
[rank0]: msg = model_without_ddp.load_state_dict(state_dict, strict=False)
[rank0]: File "/usr/local/Python3.8.12/lib/python3.8/site-packages/torch/nn/modules/module.py", line 2215, in load_state_dict
[rank0]: raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(
[rank0]: RuntimeError: Error(s) in loading state_dict for InternVideo2_Stage2:
[rank0]: size mismatch for vision_encoder.pos_embed: copying a param with shape torch.Size([1, 1025, 1408]) from checkpoint, the shape in current model is torch.Size([1, 3073, 1408]).
How to solve it? Looking forward to your reply. Thanks.
- Langage dominant
- Python
- Étoiles
- 2.4k
- Forks
- 161
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de OpenGVLab/InternVideo
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
OpenGVLab/InternVideo#324 · 1 commentaire ·
-
InternVideo2 stage-1 weightsOuverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
OpenGVLab/InternVideo#323 ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
OpenGVLab/InternVideo#322 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 42/100
OpenGVLab/InternVideo#321 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
OpenGVLab/InternVideo#319 · 1 commentaire ·
Toutes les issues de OpenGVLab/InternVideo
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
BasedHardware/omi#20271 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 92/100
openai/openai-cookbook#3153 ·
Les mainteneurs répondent en général sous 1 jour
-
cvss-severity:high devguard l3montree-cybersecurity/devguard/devguard pkg:golang/github.com/l3montree-dev/devguard risk:low state:open
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
l3montree-dev/devguard#3146 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
-
bug confirmed issue
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
open-webui/open-webui#31849 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour