Internlm2-chat-7b在进行单轮对话微调后，灾难性遗忘，求帮助
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 20/100
- Type d'issue
- Bug
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- huggingface, python, pytorch
- Domaine
- ai, machine-learning
Piste de recherche
Commencez par reproduire la configuration de fine-tuning en un seul tour signalée, à partir de la configuration de l’issue, notamment avec le modèle InternLM2-chat-7b, le chargement en 4 bits et les paramètres LoRA. Comparez la génération avant et après l’entraînement et examinez la configuration de fine-tuning pertinente ainsi que les sorties d’évaluation ; la tâche est considérée comme terminée lorsqu’un diagnostic reproductible et une mesure d’atténuation validée sont disponibles, mais aucun fichier du dépôt ni aucun test n’est indiqué.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
max_length = 2048
pack_to_max_length = True
Scheduler & Optimizer
batch_size = 1 # per_device
accumulative_counts = 16
dataloader_num_workers = 0
max_epochs = 3
optim_type = AdamW
lr = 2e-4
betas = (0.9, 0.999)
weight_decay = 0
max_norm = 1 # grad clip
warmup_ratio = 0.03
Save
save_steps = 500
save_total_limit = 2 # Maximum checkpoints to keep (-1 means unlimited)
Evaluate the generation performance during the training
evaluation_freq = 500
SYSTEM = ''
evaluation_inputs = [
'请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
]
tokenizer = dict(
type=AutoTokenizer.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True,
padding_side='right')
model = dict(
type=SupervisedFinetune,
llm=dict(
type=AutoModelForCausalLM.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True,
torch_dtype=torch.float16,
quantization_config=dict(
type=BitsAndBytesConfig,
load_in_4bit=True,
load_in_8bit=False,
llm_int8_threshold=6.0,
llm_int8_has_fp16_weight=False,
bnb_4bit_compute_dtype=torch.float16,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type='nf4')),
lora=dict(
type=LoraConfig,
r=64,
lora_alpha=16,
lora_dropout=0.1,
bias='none',
task_type='CAUSAL_LM'))
- Langage dominant
- Python
- Étoiles
- 2k
- Forks
- 1.5k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de InternLM/Tutorial
-
ch2_python_intro.md 中逻辑运算符示例有错 Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 85/100
-
ch2_python_intro.md 中集合的定义有错 Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 65/100
-
使用100%A100运行报错 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
-
test Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 1/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
Toutes les issues de InternLM/Tutorial
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
anthropics/skills#1811 · 1 commentaire ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
speaches-ai/speaches#678 ·
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
datalayer/mcp-compose#42 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
conda-forge/spacy-feedstock#177 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
UKGovernmentBEIS/inspect_evals#2523 ·