Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

A question about the detail of data preprocessing

Abierto
  • ¿Algo no está bien?
#69 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
1/5
Tiempo estimado
Menos de una hora
Aptitud para principiantes
25/100
Tipo de issue
Documentación
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
python
Área
data-engineering, machine-learning

Línea de trabajo

Start with preprocess/1_split_raw.py at line 33 and trace how train.txt is read or produced. Document what data belongs in train.txt and whether it contains all training code; done when the preprocessing input and split expectations are clear.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Hello!

I would like to finetune the model, and during the part of data preprocessing. I saw that in line 33 of the file https://github.com/salesforce/jaxformer/blob/main/preprocess/1_split_raw.py, the code is args.data_bucket_path = '/tmp/dataset_v1/ 0_raw/train.txt'.

I would like to know what kind of data is in the file train.txt? Is all the code data to be trained put into this train.txt file?

Lenguaje dominante
Python
Estrellas
5.2k
Forks
420
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de salesforce/CodeGen

Todos los issues de salesforce/CodeGen

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.