Internlm2-chat-7b在进行单轮对话微调后，灾难性遗忘，求帮助
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- huggingface, python, pytorch
- Área
- ai, machine-learning
Línea de trabajo
Comienza reproduciendo la configuración de fine-tuning de un solo turno indicada, a partir de la configuración del issue, incluido el modelo InternLM2-chat-7b, la carga en 4 bits y los ajustes de LoRA. Compara la generación antes y después del entrenamiento e inspecciona la configuración de fine-tuning relevante y las salidas de evaluación; se requiere un diagnóstico reproducible y una mitigación validada para darlo por terminado, pero no se especifica ningún archivo del repositorio ni ninguna prueba.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
max_length = 2048
pack_to_max_length = True
Scheduler & Optimizer
batch_size = 1 # per_device
accumulative_counts = 16
dataloader_num_workers = 0
max_epochs = 3
optim_type = AdamW
lr = 2e-4
betas = (0.9, 0.999)
weight_decay = 0
max_norm = 1 # grad clip
warmup_ratio = 0.03
Save
save_steps = 500
save_total_limit = 2 # Maximum checkpoints to keep (-1 means unlimited)
Evaluate the generation performance during the training
evaluation_freq = 500
SYSTEM = ''
evaluation_inputs = [
'请给我介绍五个上海的景点', 'Please tell me five scenic spots in Shanghai'
]
tokenizer = dict(
type=AutoTokenizer.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True,
padding_side='right')
model = dict(
type=SupervisedFinetune,
llm=dict(
type=AutoModelForCausalLM.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True,
torch_dtype=torch.float16,
quantization_config=dict(
type=BitsAndBytesConfig,
load_in_4bit=True,
load_in_8bit=False,
llm_int8_threshold=6.0,
llm_int8_has_fp16_weight=False,
bnb_4bit_compute_dtype=torch.float16,
bnb_4bit_use_double_quant=True,
bnb_4bit_quant_type='nf4')),
lora=dict(
type=LoraConfig,
r=64,
lora_alpha=16,
lora_dropout=0.1,
bias='none',
task_type='CAUSAL_LM'))
- Lenguaje dominante
- Python
- Estrellas
- 2k
- Forks
- 1.5k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de InternLM/Tutorial
-
ch2_python_intro.md 中逻辑运算符示例有错 Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
-
ch2_python_intro.md 中集合的定义有错 Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 65/100
-
使用100%A100运行报错 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
-
test Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 1/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
Todos los issues de InternLM/Tutorial
Issues similares
-
essnmx good first issue
Dificultad 1/5 Menos de una hora Aptitud para principiantes 95/100
-
[Feature] 奇物选择添加优先级 Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
syfoud/Simulated_Scepter#174 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Giskard-AI/giskard-oss#2840 · 1 comentario ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success Abiertoarea: repo bug perceived difficulty: 2
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
yeti-platform/yeti#1380 ·