ggml-org/llama.cpp

Support for Phi-3 models

Geschlossen

#6.849 geöffnet am 23.04.2024

Auf GitHub ansehenContributor Guide
 (84 Kommentare) (61 Reaktionen) (0 zugewiesene Personen)C++ (21.764 Forks)batch import
good first issuemodel

Repository-Metriken

Stars
 (124.134 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

Microsoft recently released Phi-3 models in 3 variants (mini, small & medium). Can we add support for this new family of models.

Contributor Guide

Research-Richtung
Überprüfe die vorhandenen Modellimplementierungen in llama.cpp (z.B. examples/llama.cpp), um das Muster zum Hinzufügen neuer Architekturen zu verstehen. Studiere die Phi 3 Modellarchitektur von Microsofts Veröffentlichung. Prüfe die Kommentare in diesem Issue auf partielle Implementierungen oder Hinweise von Maintainern. Sieh dir die Konvertierungsskripte in examples/convert*.py für die Modellkonvertierung an.
Tech Stack
cpp
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Über 1 Woche
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Phi 3 model architectureC++ programmingllama.cpp codebase
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
25