Constrained tool-call decoding: validate (local vLLM) + wire

Aperta

#868 aperta il 1/6/2026 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà: 4/5
Tempo stimato: 3-5 giorni
Idoneità per principianti: 35/100

Tipo di issue: Funzionalità
Chiarezza: Abbastanza chiara
Stato di attività: Tranquilla
Stack tecnologico: typescript
Ambito: ai, backend

Direzione di ricerca

Esamina provider/constrained.ts e i relativi test unitari sul branch feat/constrained-decoding, quindi ispeziona session/llm.ts per il percorso local-provider racchiuso da marker e controllato da flag. Esegui l’A/B locale di vLLM constrained-ON/OFF su un set di attività con uso intensivo degli strumenti; il lavoro è completato quando si ottiene un miglioramento misurabile del parse-rate o un numero inferiore di chiamate malformate senza perdita di qualità, seguito dall’integrazione del blocco validato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Context

provider/constrained.ts (grammar/JSON-Schema constrained decoding for local providers) was split out of #858 so the validated tool-retrieval lever could land clean. Code + unit tests live on branch feat/constrained-decoding.

Work

Validate: run a local vLLM guided-decoding A/B (constrained ON vs OFF) on a tool-heavy task set; confirm it improves tool-call parse-rate / reduces malformed calls at no quality cost.
Wire: re-add the flag-gated (ALTIMATE_CONSTRAINED_TOOLCALLS, local-providers-only, toolChoice: "required") block into session/llm.ts (marker-wrapped).
Open the PR once it actually does something measurable.

Do NOT open a PR with the flag wired-but-unvalidated or present-but-unwired (the no-op-flag anti-pattern). Branch: feat/constrained-decoding.

Lingua principale: TypeScript
Stelle: 813
Fork: 134
Merge medio: 2g 3h
PR unite (30g): 65

Guida per i contributori

Apri la guida per i contributori

Come iniziare

Leggi tutta la issue e poi la guida ai contributi del progetto.
Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
Fai un fork del repository e lavora su un branch.
Apri una pull request che faccia riferimento al numero della issue.