使用jittor加载模型的时候这个文件pytorch_model.bin.index.json是如何生成的？
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 25/100
- Type d'issue
- Documentation
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- huggingface, python
- Domaine
- machine-learning
Piste de recherche
Commencez par la fonction load_from_torch_shard_ckpt présentée dans l’issue et suivez la manière dont ckpt_dir est préparé avant son appel. Déterminez quel processus crée pytorch_model.bin.index.json et comment ses métadonnées et weight_map sont liés aux fichiers shard. Le travail est considéré comme terminé lorsque ce chemin de génération est documenté clairement, y compris la commande ou le workflow de chargement pertinent, si le dépôt en contient un.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
def load_from_torch_shard_ckpt(model, ckpt_dir):
"""
Load sharded checkpoints directly from huggingface dir.
"""
with open(os.path.join(ckpt_dir, 'pytorch_model.bin.index.json')) as fp:
ckpt_index = json.load(fp)
total_size = ckpt_index['metadata']['total_size']
weight_map = ckpt_index['weight_map']
file_weight_map = {}
for key, value in weight_map.items():
# key: param name; value: filename.
if value not in file_weight_map:
file_weight_map[value] = []
file_weight_map[value].append(key)
load_from_map(model, ckpt_dir, file_weight_map)
- Langage dominant
- Python
- Étoiles
- 12.3k
- Forks
- 1.1k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de OpenMOSS/MOSS
-
windows的生成速度真的慢到令人发指Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 38/100
-
version?Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 20/100
-
Difficulté 3/5 1-2 jours Accessibilité débutants 30/100
-
moss为什么不更新了Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 10/100
-
moss-moon-003-sft Jupyter测试失败Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
Toutes les issues de OpenMOSS/MOSS
Issues similaires
-
area/test type/bug
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
Clodmony/starship-coop#70 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
punitarani/fli#270 ·
-
🐛 Bug 🔔 Pending processing
Difficulté 2/5 1-3 heures Accessibilité débutants 67/100
jumpserver/jumpserver#17980 ·
Les mainteneurs répondent en général sous 1 jour
-
community enhancement good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
Les mainteneurs répondent en général sous 1 jour
-
Claiming namespace `prodmetrics`Ouvertenamespace
Difficulté 2/5 1-3 heures Accessibilité débutants 60/100
EclipseFdn/open-vsx.org#15341 ·
Les mainteneurs répondent en général sous 1 jour