ggml-org/ggml

[Feature Request] rinna's Japanese GPT model support

Aberta

#33 aberto em 4 de mar. de 2023

Ver no GitHubGuia do colaborador
 (2 comentários) (1 reação) (0 responsável)C++ (1.788 forks)auto 404
enhancementgood first issue

Métricas do repositório

Stars
 (15.223 estrelas)
Métricas de merge de PR
 (Mesclagem média 11h 12m) (22 fundiu PRs em 30d)

Description

Thanks @ggerganov for your sharing.

I want to use GPT on my local pc. rinna Co.,Ltd is Japanese AI company. rinna provides some GPT models on huggingface. https://huggingface.co/rinna/japanese-gpt-1b https://huggingface.co/rinna/japanese-gpt2-xsmall https://huggingface.co/rinna/japanese-gpt2-small https://huggingface.co/rinna/japanese-gpt2-medium I'd like to use these models with ggml gpt. But, I can't convert these models for ggml. I think these models are pytorch bin model and tensorflow H5 weight.

Could you convert and support these models ?

Guia do colaborador

Direção de pesquisa
Estude a arquitetura dos modelos GPT japoneses rinna listados (1b, xsmall, small, medium) e compreenda as ferramentas atuais de conversão ggml (por exemplo, convert pt to ggml.py). Determine as diferenças em relação a outros modelos GPT suportados e implemente as alterações necessárias para dar suporte a esses modelos.
Pilha de tecnologia
pythonpytorch
Domain
machine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Aguardando mantenedor
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchGitModel conversion knowledge
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
25