unslothai/unsloth

Kaggle - GPT OSS Data set

Open

#3400 aperta il 2 ott 2025

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
help wanted

Metriche repository

Star
 (64.271 star)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

Hi I am trying ot run the kaggle version but I have a list of .md files which I wan to feed the model to train and then export the model. but is .md file enough to feed model I can see you have this ,

from datasets import Dataset
dataset = Dataset.from_list([{"prompt" : [{"role": "user", "content": prompt.strip()}], "answer" : 0, "reasoning_effort": "low"}]*1000)
maximum_length = len(tokenizer(prompt.strip())["input_ids"])
print(maximum_length)
dataset[0]

given that I wan this plus all my md files , how best to merge these any tips

Guida contributor

Direzione di ricerca
Converti i tuoi file .md in una lista di dizionari con chiavi 'prompt' e 'answer', quindi usa Dataset.from list() e concatena con il dataset esistente usando datasets.concatenate datasets().
Tech stack
python
Dominio
machine learningai
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythondatasets
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75