Create a Gemma compatible transformer implementation
還沒有人認領這個 Issue。
評估
- 難度
- 5/5
- 預估耗時
- 一週以上
- 新手友好度
- 30/100
- Issue 類型
- 功能
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 技術堆疊
- jupyter-notebook
研究方向
未指定任何檔案或測試。首先閱讀儲存庫中現有的 Transformer 實作，並找出載入模型權重的進入點；將它們的位置編碼、跳接和注意力行為與 Gemma 標準進行比較。完成的判定標準是新的實作能夠載入並評估 Gemma 權重檔案。
由索引模型根據 Issue 內容生成。
描述
Different transformer implementations have variations (e.g. in positional encoding, where skip connections are, use of MQA, etc). Lets provide a Gemma standard implementation of transformers. This could be verified by being able to load and evaluate with a Gemma weights file.
- 主要語言
- Jupyter Notebook
- 星號
- 24
- 分支
- 6
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
PAIR-code/tiny-transformers 的其他 Issue
-
難度 3/5 1-2 天 新手友好度 45/100
-
難度 5/5 一週以上 新手友好度 25/100
-
Add support for cross-entropy loss with integer labels可能重新可做 @aliciafmachado 於 603 天前認領，目前沒有進行中的 PR。 未關閉enhancement
PAIR-code/tiny-transformers#60 · 已指派 1 人 ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common file可能重新可做 @aliciafmachado 於 636 天前認領，目前沒有進行中的 PR。 未關閉enhancement
PAIR-code/tiny-transformers#54 · 已指派 1 人 ·
-
Add GPT2 tokenizer可能重新可做 @aliciafmachado 於 636 天前認領，目前沒有進行中的 PR。 未關閉
PAIR-code/tiny-transformers#52 · 已指派 1 人 ·
查看 PAIR-code/tiny-transformers 的全部 Issue
相似的 Issue
-
Non-positive worker counts wait for results without starting workers可能已有人在做 @IlyaKhalafi 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 85/100
維護者通常 1 天內回覆
-
HFLM ignores bare xpu, hpu, and npu device names可能已有人在做 @sdivyanshu90 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 82/100
EleutherAI/lm-evaluation-harness#4386 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 74/100
-
1D intercept of length 1 is accepted as `fix_params` in population GLM with more than 1 unit可能已有人在做 @dhvani7014 今天認領。 未關閉bug good first issue
難度 2/5 1-3 小時 新手友好度 72/100
flatironinstitute/nemos#642 · 1 則留言 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 72/100
aws/sagemaker-python-sdk#6459 ·
維護者通常 2 天內回覆