karpathy/llm.c

init from scratch

Open

#243 建立於 2024年4月24日

在 GitHub 查看
 (4 留言) (0 反應) (0 負責人)Cuda (3,626 fork)github user discovery
good first issue

倉庫指標

Star
 (30,145 star)
PR 合併指標
 (PR 指標待抓取)

描述

Follow the GPT-2 reference .py file and initialize the weights in C from scratch in the exact same way. Allow init from scratch instead of init from checkpoint when building the GPT-2. Add argparse flag to configure which way to go. Ok to only change the mainline development file train_gpt2.cu.

貢獻者指南

研究方向
研究參考的 Python 實作（model.py）以理解權重初始化，然後在 train gpt2.cu 中用 C 複製邏輯，並添加 argparse 標誌以選擇從頭開始或從檢查點開始。
技術棧
c
領域
backendmachine learningai
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
2
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
半天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
新近可參與
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
CCUDA
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
60