ggml-org/ggml

[Feature Request] rinna's Japanese GPT model support

Open

#33 geöffnet am 4. März 2023

Auf GitHub ansehen
 (2 Kommentare) (1 Reaktion) (0 zugewiesene Personen)C++ (1.646 Forks)auto 404
enhancementgood first issue

Repository-Metriken

Stars
 (14.741 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 33m) (12 gemergte PRs in 30 T)

Beschreibung

Thanks @ggerganov for your sharing.

I want to use GPT on my local pc. rinna Co.,Ltd is Japanese AI company. rinna provides some GPT models on huggingface. https://huggingface.co/rinna/japanese-gpt-1b https://huggingface.co/rinna/japanese-gpt2-xsmall https://huggingface.co/rinna/japanese-gpt2-small https://huggingface.co/rinna/japanese-gpt2-medium I'd like to use these models with ggml gpt. But, I can't convert these models for ggml. I think these models are pytorch bin model and tensorflow H5 weight.

Could you convert and support these models ?

Contributor Guide

Research-Richtung
Untersuche die Architektur der aufgeführten rinna japanischen GPT Modelle (1b, xsmall, small, medium) und verstehe die aktuellen ggml Konvertierungstools (z. B. convert pt to ggml.py). Bestimme die Unterschiede zu anderen unterstützten GPT Modellen und implementiere die notwendigen Änderungen, um diese Modelle zu unterstützen.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Wartet auf Maintainer Antwort
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchGitModel conversion knowledge
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
25