unknown model architecture: 'gemma-embedding'
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 45/100
- Issue-Typ
- Feature
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Veraltet
- Bereich
- ai, ai-infra-agents, backend
Rechercherichtung
Bei diesem Issue geht es darum, Unterstützung für die Architektur 'gemma-embedding' zu llama-cpp-python hinzuzufügen. Prüfe zuerst das llama.cpp-Repository, um zu sehen, wie die Architektur im verknüpften Release hinzugefügt wurde. Untersuche dann die Python-Bindings in diesem Repository, wahrscheinlich im C/C++-Erweiterungscode, um die Logik zum Laden von Modellen zu aktualisieren. Führe die vorhandenen Tests aus, um die Kompatibilität sicherzustellen, und teste mit der bereitgestellten GGUF-Modelldatei, um die Fehlerbehebung zu überprüfen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
I am running llama-cpp-python Version: 0.3.16
Trying to load the recently released model embeddinggemma-300M I get the following error message:
llama_model_load: error loading model: error loading model architecture: unknown model architecture: 'gemma-embedding'
Support for this model architecture has been added to llama.cpp in this build: https://github.com/ggml-org/llama.cpp/releases/tag/b6384
Could you please align llama-cpp-python to reflect this addition ?
- Vorherrschende Sprache
- Python
- Sterne
- 10.6k
- Forks
- 1.5k
- Ø Merge
- 3 Std. 57 Min.
- Gemergte PRs (30 T.)
- 4
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus abetlen/llama-cpp-python
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsEvtl. vergeben @Belal0066 hat das vor 16 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
abetlen/llama-cpp-python#2371 ·
Maintainer antworten meist innerhalb von 1 Tag
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Evtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
abetlen/llama-cpp-python#2352 · 1 Kommentar · 2 Reaktionen ·
Maintainer antworten meist innerhalb von 1 Tag
-
Docs: consolidate build-from-source and GPU backend guideEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
abetlen/llama-cpp-python#2314 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayEvtl. wieder frei @lxcxjxhx hat das vor 93 Tagen übernommen, und es ist kein Pull Request offen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
abetlen/llama-cpp-python#2211 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
Llama() silently accepts and discards `embedding` kwarg; .embed() then raises confusinglyEvtl. vergeben @Anai-Guo hat das vor 33 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
abetlen/llama-cpp-python#2210 ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in abetlen/llama-cpp-python
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Graphify-Labs/graphify#4241 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 72/100
-
DeviceTrackerOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 63/100
XiaoMi/ha_xiaomi_home#1821 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Maven path-index: "Ambiguous or noncanonical artifact path" error does not report the offending pathOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
pulp/pulp_maven#524 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 82/100
Maintainer antworten meist innerhalb von 1 Tag