unknown model architecture: 'gemma-embedding'
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Ferma
- Ambito
- ai, ai-infra-agents, backend
Direzione di ricerca
La issue riguarda l’aggiunta del supporto per l’architettura 'gemma-embedding' a llama-cpp-python. Per prima cosa, controlla il repository llama.cpp per vedere come è stata aggiunta l’architettura nella release collegata. Poi esamina i binding Python in questo repository, probabilmente nel codice dell’estensione C/C++, per aggiornare la logica di caricamento dei modelli. Esegui i test esistenti per assicurarti della compatibilità e testa con il file del modello GGUF fornito per verificare la correzione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I am running llama-cpp-python Version: 0.3.16
Trying to load the recently released model embeddinggemma-300M I get the following error message:
llama_model_load: error loading model: error loading model architecture: unknown model architecture: 'gemma-embedding'
Support for this model architecture has been added to llama.cpp in this build: https://github.com/ggml-org/llama.cpp/releases/tag/b6384
Could you please align llama-cpp-python to reflect this addition ?
- Lingua principale
- Python
- Stelle
- 10.6k
- Fork
- 1.5k
- Merge medio
- 3h 57m
- PR unite (30g)
- 4
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di abetlen/llama-cpp-python
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsForse già presa @Belal0066 l’ha presa 17 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
abetlen/llama-cpp-python#2371 ·
I maintainer di solito rispondono entro 1 giorno
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Forse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
abetlen/llama-cpp-python#2352 · 1 commento · 2 reazioni ·
I maintainer di solito rispondono entro 1 giorno
-
Docs: consolidate build-from-source and GPU backend guideForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
abetlen/llama-cpp-python#2314 ·
I maintainer di solito rispondono entro 1 giorno
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayForse di nuovo libera @lxcxjxhx l’ha presa 94 giorni fa e non c’è nessuna pull request aperta. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
abetlen/llama-cpp-python#2211 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Llama() silently accepts and discards `embedding` kwarg; .embed() then raises confusinglyForse già presa @Anai-Guo l’ha presa 34 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
abetlen/llama-cpp-python#2210 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di abetlen/llama-cpp-python
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
mishraprafful/multihull#150 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
python-caldav/caldav#735 ·
I maintainer di solito rispondono entro 1 giorno
-
bug triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
mealie-recipes/mealie#8682 ·
I maintainer di solito rispondono entro 1 giorno
-
good first issue lane:repo
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100