基于qwen模型使用coba训练后，权重合并错误
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 30/100
- Issue-Typ
- Bug
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- machine-learning
Rechercherichtung
Beginne bei src/pefts/merge_base_and_lora_to_hf.py in Zeile 82 und verfolge den Aufruf von PeftModel.from_pretrained, der den Fehler auslöst. Vergleiche das Basismodell und die Zielmodule des Adapters, einschließlich c_proj, w1, c_attn und w2; die Aufgabe ist abgeschlossen, wenn die Qwen-Gewichte ohne den target-modules ValueError zusammengeführt werden können.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Traceback (most recent call last):
File "/data/demo/MFTCoder/mftcoder_accelerate/src/pefts/merge_base_and_lora_to_hf.py", line 82, in
model_to_merge = PeftModel.from_pretrained(base_model, lora_adapter)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 355, in from_pretrained
model = MODEL_TYPE_TO_PEFT_MODEL_MAPPING[config.task_type](model, config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 1094, in init
super().init(model, peft_config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 129, in init
self.base_model = cls(model, {adapter_name: peft_config}, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/lora/model.py", line 136, in init
super().init(model, config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/tuners_utils.py", line 148, in init
self.inject_adapter(self.model, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/tuners_utils.py", line 328, in inject_adapter
raise ValueError(
ValueError: Target modules {'c_proj', 'w1', 'c_attn', 'w2'} not found in the base model. Please check the target modules and try again.
- Vorherrschende Sprache
- Python
- Sterne
- 711
- Forks
- 69
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus codefuse-ai/MFTCoder
-
RSEI计算Offen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
codefuse-ai/MFTCoder#92 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
codefuse-ai/MFTCoder#91 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
codefuse-ai/MFTCoder#90 ·
-
data_paths为啥这么设置Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 30/100
codefuse-ai/MFTCoder#89 ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
codefuse-ai/MFTCoder#88 ·
Alle Issues in codefuse-ai/MFTCoder
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
AstrBotDevs/AstrBot#10720 ·
Maintainer antworten meist innerhalb von 1 Tag
-
fix(xiaomi): curated picker list still offers six ids that return 400 (plan-limited vs retired)Offencause/upstream comp/cli P2 provider/other tool/file type/bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
NousResearch/hermes-agent#143900 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 85/100
WLAN-Pi/wlanpi-profiler#341 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
Maintainer antworten meist innerhalb von 1 Tag