karpathy/llm.c

init from scratch

Open

#243 aperta il 24 apr 2024

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Cuda (3626 fork)github user discovery
good first issue

Metriche repository

Star
 (30.145 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Follow the GPT-2 reference .py file and initialize the weights in C from scratch in the exact same way. Allow init from scratch instead of init from checkpoint when building the GPT-2. Add argparse flag to configure which way to go. Ok to only change the mainline development file train_gpt2.cu.

Guida contributor

Direzione di ricerca
Studia l'implementazione Python di riferimento (model.py) per comprendere l'inizializzazione dei pesi, quindi replica la logica in C in train gpt2.cu e aggiungi un flag argparse per scegliere tra scratch e checkpoint.
Tech stack
c
Dominio
backendmachine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
CCUDA
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60