Feature Request: Support for GBNF grammar and LoRA adapters in multi‑agent setups
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
Direzione di ricerca
Inizia leggendo examples/multi-agent.cpp e le API ModelConfig, Model e Agent per capire come gli agent condividono i pesi del modello. Confronta la grammatica GBNF richiesta per ciascun agent e la configurazione LoRA opzionale con le interfacce esistenti. Il lavoro è completato quando è disponibile un percorso di progettazione e implementazione documentato che supporti la configurazione indipendente degli agent senza duplicare i pesi di base.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi.
First of all, thank you for this great library! The multi‑agent example (examples/multi-agent.cpp) is exactly the pattern I need: a single base model with multiple specialized agents sharing the same weights.
My use case wishes each agent to have its own GBNF grammar and optionally its own LoRA adapter while still sharing the base model weights to save memory.
ModelConfig only exposes n_ctx and temp. I could not find any load_lora() or set_grammar() methods on Model or Agent like 👇
// Example concept
ModelConfig math_config;
math_config.n_ctx = 10240;
math_config.grammar_file = "math.gbnf";
math_config.lora_file = "math_lora.bin";
auto math_model = Model::create_with_weights(shared_weights, math_config);
// Then pass math_model to the MathAgent
What do you think 🤗
- Lingua principale
- C++
- Stelle
- 209
- Fork
- 31
- Merge medio
- 3g 5h
- PR unite (30g)
- 6
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Issue simili
-
agent:WSL bug linux LOW ui
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Copter: PosHold brake-entry threshold became 16 deg instead of 0.16 deg after the radians conversionAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
ArduPilot/ardupilot#34617 · 1 commento · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Self-hosted runner Dockerfile pins actions/runner 2.327.1, below GitHub's new minimum (2.329.0)Apertaauto-triaged bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
bug needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
microsoft/microsoft-ui-xaml#12158 ·
I maintainer di solito rispondono entro 1 giorno
-
Hexfloat ('a'/'A') zero padding is placed before the sign and "0x" prefixForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 4 giorni