Feature Request: SuperCompress prompt preprocessing for llama-cpp-python
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 55/100
Piste de recherche
Start with the README or examples for llama-cpp-python and inspect how examples call llama.create_completion(). Add an example that compresses a prompt with SuperCompress before passing it to the completion call, following the integration shown in the issue. Done when the example demonstrates the compression flow and can be followed by users with both packages installed.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Feature: Prompt Compression for llama-cpp-python
Problem: llama-cpp-python users often work with local models that have limited context (2048-4096 tokens). Long prompts waste valuable context window space.
Proposed Solution: Provide a SuperCompress integration example that compresses prompts before passing them to llama.create_completion().
from supercompress import Compressor
from llama_cpp import Llama
compressor = Compressor()
llm = Llama(model_path="./model.gguf")
compressed_prompt = compressor.compress(long_prompt, query)
output = llm.create_completion(compressed_prompt)
Benefits:
-
~65% prompt reduction = 3x more effective context
-
100% oracle recall preserves instructions
-
CPU-only, ~60ms — no GPU overhead
-
pip install supercompress -
Benchmarks: https://supercompress.dev/benchmarks
- Langage dominant
- Python
- Étoiles
- 10.7k
- Forks
- 1.5k
- Merge moyen
- 1 h 40 min
- PR mergées (30 j)
- 5
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de abetlen/llama-cpp-python
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
abetlen/llama-cpp-python#2424 ·
Les mainteneurs répondent en général sous 1 jour
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsPeut-être pris @Belal0066 l’a pris il y a 59 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
abetlen/llama-cpp-python#2371 ·
Les mainteneurs répondent en général sous 1 jour
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Peut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
abetlen/llama-cpp-python#2352 · 1 commentaire · 3 réactions ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
abetlen/llama-cpp-python#2314 ·
Les mainteneurs répondent en général sous 1 jour
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayPeut-être à nouveau libre @lxcxjxhx l’a pris il y a 136 jours, et aucune pull request n’est ouverte. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
abetlen/llama-cpp-python#2211 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de abetlen/llama-cpp-python
Issues similaires
-
Bug IronPython Python 3
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
pyrevitlabs/pyRevit#4184 ·
Les mainteneurs répondent en général sous 1 jour
-
CLAW (Agents & Orchestration)Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 74/100
jqueryscript/awesome-claude-code#1009 ·
-
tests
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100
Les mainteneurs répondent en général sous 3 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
[Plugin] 群聊记忆 · 人格养成Ouverte
Difficulté 1/5 1-3 heures Accessibilité débutants 74/100