Missing key tokenizer in nemo NMT multilingual finetunning
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 35/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python
调研方向
从 examples/nlp/machine_translation/megatron_nmt_training.py 开始，尤其检查第 113 行访问 pretrained_cfg.tokenizer 的位置，并检查 workspace/model/pretrained_ckpt/megatronnmt_any_en_500m.nemo 中的 pretrained model configuration。tutorial 命令应能在不出现 OmegaConf Missing key tokenizer error 的情况下运行。
由索引模型根据 Issue 内容生成。
描述
Hello there,
I followed the tutorial for NMT multilingual models finetunning. But in the last step where we run the megatron_nmt_training.py as told in the tutorial t gives an error regarding a key(tokenizer not being found in the pretrained models config file).
I ran this command :
HYDRA_FULL_ERROR=1
python /opt/NeMo/examples/nlp/machine_translation/megatron_nmt_training.py
trainer.precision=32
trainer.devices=1
trainer.max_epochs=5
trainer.max_steps=200000
trainer.val_check_interval=5000
trainer.log_every_n_steps=5000
model.multilingual=True
model.pretrained_model_path=workspace/model/pretrained_ckpt/megatronnmt_any_en_500m.nemo
model.micro_batch_size=1
model.global_batch_size=2
model.encoder_tokenizer.library=sentencepiece
model.decoder_tokenizer.library=sentencepiece
model.encoder_tokenizer.model=workspace/tokenizer/spm_64k_all_32_langs_plus_en_nomoses.model
model.decoder_tokenizer.model=workspace/tokenizer/spm_64k_all_32_langs_plus_en_nomoses.model
model.src_language=['es, pt']
model.tgt_language=en
model.train_ds.src_file_name=workspace/data/train_src_files
model.train_ds.tgt_file_name=workspace/data/train_tgt_files
model.test_ds.src_file_name=workspace/data/en_es_final_es_test_filepath
model.test_ds.tgt_file_name=workspace/data/en_es_final_en_test_filepath
model.validation_ds.src_file_name=workspace/data/val_src_files
model.validation_ds.tgt_file_name=workspace/data/val_tgt_files
model.optim.lr=0.00001
model.train_ds.concat_sampling_probabilities=['0.1, 0.1']
++model.pretrained_language_list=None
+model.optim.sched.warmup_steps=500
~model.optim.sched.warmup_ratio
exp_manager.resume_if_exists=True
exp_manager.resume_ignore_no_checkpoint=True
exp_manager.create_checkpoint_callback=True
exp_manager.checkpoint_callback_params.monitor=val_sacreBLEU_avg
exp_manager.checkpoint_callback_params.mode=max
exp_manager.checkpoint_callback_params.save_top_k=5
+exp_manager.checkpoint_callback_params.save_best_model=true
and it gives this error :
Traceback (most recent call last):
File "/opt/NeMo/examples/nlp/machine_translation/megatron_nmt_training.py", line 113, in main
pretrained_cfg.encoder_tokenizer = pretrained_cfg.tokenizer
omegaconf.errors.ConfigAttributeError: Missing key tokenizer
full_key: tokenizer
object_type=dict
- 主要语言
- Jupyter Notebook
- 星标
- 178
- 派生
- 56
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
nvidia-riva/tutorials 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 48/100
nvidia-riva/tutorials#229 ·
-
难度 1/5 1 小时以内 新手友好度 55/100
nvidia-riva/tutorials#219 ·
-
难度 3/5 1-2 天 新手友好度 35/100
nvidia-riva/tutorials#217 ·
-
难度 4/5 3-5 天 新手友好度 45/100
nvidia-riva/tutorials#214 ·
-
难度 2/5 1-3 小时 新手友好度 45/100
nvidia-riva/tutorials#202 ·
查看 nvidia-riva/tutorials 的全部 Issue
相似的 Issue
-
Bug in Web UI: Unknown model arch 'sd15' when selecting SD 1.5可能已有人在做 @ngo-binh0108 今天认领。 未关闭
难度 1/5 1 小时以内 新手友好度 86/100
ostris/ai-toolkit#1092 ·
维护者通常 1 天内回复
-
regression skipped skipped_bmg
难度 2/5 1-3 小时 新手友好度 76/100
intel/torch-xpu-ops#5892 ·
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 64/100
containers/podman-desktop-extension-ai-lab#4853 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 85/100
PINNeAPPle-Labs/PINNeAPPle#940 ·
维护者通常 1 天内回复