karpathy/llm.c

init from scratch

Open

#243 创建于 2024年4月24日

在 GitHub 查看
 (4 评论) (0 反应) (0 负责人)Cuda (3,626 fork)github user discovery
good first issue

仓库指标

Star
 (30,145 star)
PR 合并指标
 (PR 指标待抓取)

描述

Follow the GPT-2 reference .py file and initialize the weights in C from scratch in the exact same way. Allow init from scratch instead of init from checkpoint when building the GPT-2. Add argparse flag to configure which way to go. Ok to only change the mainline development file train_gpt2.cu.

贡献者指南

研究方向
研究参考的 Python 实现（model.py）以理解权重初始化，然后在 train gpt2.cu 中用 C 复制逻辑，并添加 argparse 标志以选择从头开始或从检查点开始。
技术栈
c
领域
backendmachine learningai
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
2
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
半天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
新近可参与
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
CCUDA
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
60