xagentllama-34b-preview 使用transformer加载报错： model = AutoModelForCausalLM.from_pretrained( File "/data/envs_qwen_xgentllama_service/lib/python3.9/site-packages/transformers/models/auto/auto_factory.py", line 566, in from_pretrained return model_class.from_pretrained( File "/envs_qwen_xgentllama_service/lib/python3.9/site-packages/transformers/modeling_utils.py", line 3206, in from_pretrained raise EnvironmentError( OSError: Error no file named pytorch_model.bin, tf_model.h5,
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 28/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
調査の方向性
報告された AutoModelForCausalLM.from_pretrained の呼び出しから始め、ローカルの xagentllama-34b-preview ディレクトリを調査します。特に config.json と 17 個の pytorch_model shard ファイルを確認してください。ディレクトリの内容を、シャーディングされたチェックポイントの読み込み時に Transformers が想定するファイルと比較します。提供されたモデルパッケージがローカルで読み込め、報告された OSError が発生しなくなれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Issue Description / 问题描述
Please provide a detailed description of the error or issue you encountered. / 请详细描述您遇到的错误或问题。
xagentllama-34b-preview , 模型包 不包含pytorch_model.bin.index.json， 使用transformer加载失败：
model = AutoModelForCausalLM.from_pretrained( File "/data/envs_qwen_xgentllama_service/lib/python3.9/site-packages/transformers/models/auto/auto_factory.py", line 566, in from_pretrained return model_class.from_pretrained( File "/envs_qwen_xgentllama_service/lib/python3.9/site-packages/transformers/modeling_utils.py", line 3206, in from_pretrained raise EnvironmentError( OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in
模型包：共154G
config.json pytorch_model-00012-of-00017.bin
generation_config.json pytorch_model-00013-of-00017.bin
pytorch_model-00001-of-00017.bin pytorch_model-00014-of-00017.bin
pytorch_model-00002-of-00017.bin pytorch_model-00015-of-00017.bin
pytorch_model-00003-of-00017.bin pytorch_model-00016-of-00017.bin
pytorch_model-00004-of-00017.bin pytorch_model-00017-of-00017.bin
pytorch_model-00005-of-00017.bin
pytorch_model-00006-of-00017.bin README.md
pytorch_model-00007-of-00017.bin special_tokens_map.json
pytorch_model-00008-of-00017.bin tokenizer_config.json
pytorch_model-00009-of-00017.bin tokenizer.json
pytorch_model-00010-of-00017.bin tokenizer.model
pytorch_model-00011-of-00017.bin
Steps to Reproduce / 复现步骤
Please provide the specific steps to reproduce the error. / 请提供复现错误的具体步骤。
代码：
import os
from transformers import AutoModelForCausalLM
import torch
from transformers import BitsAndBytesConfig
model_name_or_path = "/data1/xagentllama-34b-preview/"
tokenizer_name_or_path = model_name_or_path
model = AutoModelForCausalLM.from_pretrained(
model_name_or_path,
local_files_only=True,# trust_remote_code=True,
quantization_config = BitsAndBytesConfig(
# 量化数据类型设置
bnb_4bit_quant_type="nf4",
# 量化数据的数据格式
bnb_4bit_compute_dtype=torch.bfloat16
),
device_map='auto',
torch_dtype=torch.bfloat16,
)
output = "/data1/lilei107/xagentllama-34b-preview-4bit"
if not os.path.exists(output):
os.mkdir(output)
model.save_pretrained(output)
print("done")
exit(0)
执行报错： OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in
发现模型包和huggingface 中都没有类似于 pytorch_model.bin.index.json 这个模型参数文件， 是否可以提供下这个文件?
谢谢！
Expected Behavior / 预期行为
Describe the behavior you expected to see. / 请描述您期望的正确行为。
Environment / 环境信息
- Operating System / 操作系统：
- Python Version / Python 版本：
- Other Relevant Information / 其他相关信息：
Error Screenshots or Logs / 错误截图或日志
If possible, please provide relevant screenshots or logs of the error. / 如果可能，请提供相关的错误截图或日志文件。
Additional Notes / 其他备注
If you have any additional information or notes, please add them here. / 如果有其他补充信息，请在此处添加。
- 主要言語
- Python
- スター
- 8.5k
- フォーク
- 902
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenBMB/XAgent のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
-
[Vulnerability] Path Traversal in /ws/base endpoint対応中かも @painbaba が 50 日前に担当しました。 オープンbug
難易度 3/5 1〜2日 初心者へのやさしさ 72/100
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 5/100
似ている issue
-
comp/cli P3 type/security
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
NousResearch/hermes-agent#141420 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
vendor-pitch
難易度 2/5 1〜3時間 初心者へのやさしさ 87/100
メンテナーはふだん 1 日以内に返信
-
bug llm p2
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
New tool: ZIPZAX Python Notebook Studio対応中かも @github-actions が今日担当しました。 オープンsubmission triage
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
kausalflow/tools#226 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100