karpathy/llm.c

init from scratch

Open

#243 ouverte le 24 avr. 2024

Voir sur GitHub
 (4 commentaires) (0 réactions) (0 assignés)Cuda (3 626 forks)github user discovery
good first issue

Métriques du dépôt

Stars
 (30 145 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

Follow the GPT-2 reference .py file and initialize the weights in C from scratch in the exact same way. Allow init from scratch instead of init from checkpoint when building the GPT-2. Add argparse flag to configure which way to go. Ok to only change the mainline development file train_gpt2.cu.

Guide contributeur

Direction de recherche
Étudiez l'implémentation Python de référence (model.py) pour comprendre l'initialisation des poids, puis reproduisez la logique en C dans train gpt2.cu et ajoutez un indicateur argparse pour choisir entre le démarrage à partir de zéro et le checkpoint.
Stack technique
c
Domaine
backendmachine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
CCUDA
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60