ggml-org/llama.cpp

MiniCPM 2b model support?

Open

#5 276 ouverte le 2 févr. 2024

Voir sur GitHub
 (26 commentaires) (8 réactions) (0 assignés)C++ (18 202 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (110 169 stars)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

Feature Description

Like Phi is supported, it would great to have this Mistral level 2b model ggufable.

Motivation

SOTA 2b model, a piece of art, read how they made it:

https://shengdinghu.notion.site/MiniCPM-Unveiling-the-Potential-of-End-side-Large-Language-Models-d4d3a8c426424654a4e80e42a711cb20

Guide contributeur

Direction de recherche
Étudiez l'architecture du modèle MiniCPM et comparez la avec Phi pour identifier les modifications nécessaires. Ensuite, écrivez un script de conversion en Python et ajoutez le support d'inférence en C++.
Stack technique
cpp
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++Git
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
55