Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Using LoRA with CodeGen 2B mono

Abierto
#73 2 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
15/100
Tipo de issue
Documentación
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
python
Área
ai, machine-learning

Línea de trabajo

Start by reading the linked PEFT target-module mapping at src/peft/utils/other.py#L202 and inspect the Salesforce/codegen-2B-mono module names involved in the shown configuration. Done would mean documenting the appropriate target_modules value for CodeGen 2B mono, with a reproducible example or validation of the configuration.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Fine-tuning Salesforce/codegen-2B-mono on my own text to code Python dataset.
I quantized the model using HuggingFace transformer's BitsAndBytesConfig and LoRA config.

Implemented loRA config by using the following code:

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=[],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

model = get_peft_model(model, lora_config)

I am not sure what should i be using in target models, in official git provided below.

Target modules for CodeGen is not mentioned.
image

peft git repo

Please help me out with this.
Any of your inputs will be highly appreciated.
Thank You!

Lenguaje dominante
Python
Estrellas
5.2k
Forks
420
Sin PR fusionados en 30 d

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de salesforce/CodeGen

Todos los issues de salesforce/CodeGen

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.