Request for Gemma 3 4B & Gemma 4 Integration Support with llama-cpp-python
Les mainteneurs répondent en général sous 1 jour
@acarcay y travaille déjà.
Depuis le 6/9/2026.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 45/100
- Type d'issue
- Documentation
- Clarté
- Clairement spécifiée
- Activité
- Active
- Stack technique
- python
- Domaine
- ai-infra-agents, documentation
Piste de recherche
Examinez la documentation existante sur la prise en charge des modèles et le code d’intégration dans le dépôt, probablement dans un répertoire docs ou models. Vérifiez l’état de la prise en charge de Gemma dans l’upstream de llama.cpp. Déterminez les versions, les modèles de chat et les formats GGUF requis. L’objectif est de produire une documentation ou des exemples clairs pour les utilisateurs, et non d’implémenter l’intégration elle-même.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Hi team,
I would like to request official support and documentation for Gemma 3 4B and Gemma 4 integration within llama-cpp-python.
It would be helpful to have clarification regarding:
- Current compatibility status
- Required llama.cpp / llama-cpp-python versions
- Chat template handling requirements
- Recommended GGUF formats and quantizations
- Known limitations or issues
- Recommended inference parameters for stable usage
Any guidance, implementation notes, or examples would be greatly appreciated (without using ollama)
Kind regards,
Jonathan Park
- Langage dominant
- Python
- Étoiles
- 10.6k
- Forks
- 1.5k
- Merge moyen
- 3 h 57 min
- PR mergées (30 j)
- 4
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de abetlen/llama-cpp-python
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsPeut-être pris @Belal0066 l’a pris il y a 16 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
abetlen/llama-cpp-python#2371 ·
Les mainteneurs répondent en général sous 1 jour
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Peut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
abetlen/llama-cpp-python#2352 · 1 commentaire · 2 réactions ·
Les mainteneurs répondent en général sous 1 jour
-
Docs: consolidate build-from-source and GPU backend guidePeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
abetlen/llama-cpp-python#2314 ·
Les mainteneurs répondent en général sous 1 jour
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayPeut-être à nouveau libre @lxcxjxhx l’a pris il y a 93 jours, et aucune pull request n’est ouverte. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
abetlen/llama-cpp-python#2211 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
Llama() silently accepts and discards `embedding` kwarg; .embed() then raises confusinglyPeut-être pris @Anai-Guo l’a pris il y a 34 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
abetlen/llama-cpp-python#2210 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de abetlen/llama-cpp-python
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
pyjanitor-devs/pyjanitor#1758 ·
Les mainteneurs répondent en général sous 1 jour
-
bug ready for review
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
odysseus-dev/odysseus#6641 ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
happypawspillaro/happypaws#78 ·
Les mainteneurs répondent en général sous 4 jours
-
pydanty:is-working
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
pydantic/pydantic-ai#10020 ·
Les mainteneurs répondent en général sous 1 jour
-
stdlib type-bug
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
python/cpython#159044 · 4 commentaires ·
Les mainteneurs répondent en général sous 1 jour