ggml-org/llama.cpp

Support for Phi-3 models

Fermée

#6 849 ouverte le 23 avr. 2024

Voir sur GitHubGuide contributeur
 (84 commentaires) (61 réactions) (0 personne assignée)C++ (21 786 forks)batch import
good first issuemodel

Métriques du dépôt

Stars
 (124 222 étoiles)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

Microsoft recently released Phi-3 models in 3 variants (mini, small & medium). Can we add support for this new family of models.

Guide contributeur

Direction de recherche
Examinez les implémentations de modèles existantes dans llama.cpp (par exemple, examples/llama.cpp) pour comprendre le modèle d'ajout de nouvelles architectures. Étudiez l'architecture du modèle Phi 3 de la version de Microsoft. Vérifiez les commentaires dans cette issue pour toute implémentation partielle ou indices des mainteneurs. Consultez les scripts de conversion dans examples/convert*.py pour la conversion de modèle.
Stack technique
cpp
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Phi 3 model architectureC++ programmingllama.cpp codebase
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
25