Internlm2-chat-7b在进行单轮对话微调后，灾难性遗忘，求帮助

Offen

#516 erstellt am 01.2.2024 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 20/100

Issue-Typ: Bug
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: huggingface, python, pytorch
Bereich: ai, machine-learning

Rechercherichtung

Beginne damit, das gemeldete Single-Turn-Fine-Tuning-Setup anhand der Konfiguration im Issue zu reproduzieren, einschließlich des Modells InternLM2-chat-7b, des 4-Bit-Ladens und der LoRA-Einstellungen. Vergleiche die Generierung vor und nach dem Training und untersuche die relevante Fine-Tuning-Konfiguration sowie die Evaluierungsausgaben; als abgeschlossen gilt die Aufgabe, wenn eine reproduzierbare Diagnose und eine validierte Abhilfe vorliegen, aber es wird keine Repository-Datei und kein Test genannt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

max_length = 2048
pack_to_max_length = True

Scheduler & Optimizer

batch_size = 1 # per_device
accumulative_counts = 16
dataloader_num_workers = 0
max_epochs = 3
optim_type = AdamW
lr = 2e-4
betas = (0.9, 0.999)
weight_decay = 0
max_norm = 1 # grad clip
warmup_ratio = 0.03

Save

save_steps = 500
save_total_limit = 2 # Maximum checkpoints to keep (-1 means unlimited)

Evaluate the generation performance during the training

evaluation_freq = 500
SYSTEM = ''
evaluation_inputs = [
'请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
]
tokenizer = dict(
type=AutoTokenizer.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True,
padding_side='right')

model = dict(
type=SupervisedFinetune,
llm=dict(
type=AutoModelForCausalLM.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True,
torch_dtype=torch.float16,
quantization_config=dict(
type=BitsAndBytesConfig,
load_in_4bit=True,
load_in_8bit=False,
llm_int8_threshold=6.0,
llm_int8_has_fp16_weight=False,
bnb_4bit_compute_dtype=torch.float16,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type='nf4')),
lora=dict(
type=LoraConfig,
r=64,
lora_alpha=16,
lora_dropout=0.1,
bias='none',
task_type='CAUSAL_LM'))

Vorherrschende Sprache: Python
Sterne: 2k
Forks: 1.5k
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus InternLM/Tutorial

ch2_python_intro.md 中逻辑运算符示例有错 Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100

InternLM/Tutorial#1463 · Erstellt am 03.8.2024
ch2_python_intro.md 中集合的定义有错 Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 65/100

InternLM/Tutorial#1278 · 1 Kommentar · Erstellt am 23.7.2024
使用100%A100运行报错 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100

InternLM/Tutorial#3008 · Erstellt am 03.3.2025
test Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 1/100

InternLM/Tutorial#3002 · Erstellt am 27.2.2025
LlamaIndex+本地部署InternLM实践RAG的时候，结果不理想，想知道怎么优化呢？ Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

InternLM/Tutorial#2858 · Erstellt am 27.12.2024

Alle Issues in InternLM/Tutorial