ggml-org/ggml

[Feature Request] rinna's Japanese GPT model support

Open

#33 建立於 2023年3月4日

在 GitHub 查看
 (2 留言) (1 反應) (0 負責人)C++ (1,646 fork)auto 404
enhancementgood first issue

倉庫指標

Star
 (14,741 star)
PR 合併指標
 (平均合併 33分鐘) (30 天內合併 12 個 PR)

描述

Thanks @ggerganov for your sharing.

I want to use GPT on my local pc. rinna Co.,Ltd is Japanese AI company. rinna provides some GPT models on huggingface. https://huggingface.co/rinna/japanese-gpt-1b https://huggingface.co/rinna/japanese-gpt2-xsmall https://huggingface.co/rinna/japanese-gpt2-small https://huggingface.co/rinna/japanese-gpt2-medium I'd like to use these models with ggml gpt. But, I can't convert these models for ggml. I think these models are pytorch bin model and tensorflow H5 weight.

Could you convert and support these models ?

貢獻者指南

研究方向
研究列出的 rinna 日語 GPT 模型（1b、xsmall、small、medium）的架構，並了解當前的 ggml 轉換工具（例如 convert pt to ggml.py）。確定其與其他受支援的 GPT 模型的差異，並實施必要的更改以支援這些模型。
技術棧
pythonpytorch
領域
machine learning
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
4
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
3-5 天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
等待維護者回覆
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
PythonPyTorchGitModel conversion knowledge
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
25