ggml-org/llama.cpp

Support for Phi-3 models

Chiusa

#6849 aperta il 23 apr 2024

Vedi su GitHubGuida contributor
 (84 commenti) (61 reazioni) (0 assegnatari)C++ (21.764 fork)batch import
good first issuemodel

Metriche repository

Star
 (124.134 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Microsoft recently released Phi-3 models in 3 variants (mini, small & medium). Can we add support for this new family of models.

Guida contributor

Direzione di ricerca
Esamina le implementazioni di modelli esistenti in llama.cpp (ad es. examples/llama.cpp) per comprendere lo schema per aggiungere nuove architetture. Studia l'architettura del modello Phi 3 dalla release di Microsoft. Controlla i commenti in questo issue per eventuali implementazioni parziali o suggerimenti dai maintainer. Esamina gli script di conversione in examples/convert*.py per la conversione del modello.
Tech stack
cpp
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Phi 3 model architectureC++ programmingllama.cpp codebase
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
25