karpathy/llm.c

init from scratch

Open

#243 geöffnet am 24. Apr. 2024

Auf GitHub ansehen
 (4 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Cuda (3.626 Forks)github user discovery
good first issue

Repository-Metriken

Stars
 (30.145 Stars)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Follow the GPT-2 reference .py file and initialize the weights in C from scratch in the exact same way. Allow init from scratch instead of init from checkpoint when building the GPT-2. Add argparse flag to configure which way to go. Ok to only change the mainline development file train_gpt2.cu.

Contributor Guide

Research-Richtung
Studieren Sie die Referenz Python Implementierung (model.py), um die Gewichtsinitialisierung zu verstehen, replizieren Sie dann die Logik in C in train gpt2.cu und fügen Sie ein argparse Flag hinzu, um zwischen Scratch und Checkpoint zu wählen.
Tech Stack
c
Domain
backendmachine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
CCUDA
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60