Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

fit_max_tokens issue, context problem with agentic coding.

Aperta Adatta ai principianti
  • Qualcosa non va?
#694 2 commenti 4 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
67/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
tooling

Direzione di ricerca

Parti da setup.py dove viene assemblato il dizionario cfg (che contiene lib_dirs, port, tokenizer); traccia dove quel dizionario viene scritto in strata-*.json al lancio, dato che chi riporta il problema indica che un valore modificato a mano viene sovrascritto. Poi trova dove fit_max_tokens viene letto a runtime per confermare cosa cambia True. Per intendersi « Done », un utente deve poter impostare fit_max_tokens (tramite una configurazione che sopravvive al lancio o un flag da riga di comando), con il default deciso dal maintainer.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

I'm using Strata with Oh My Pi, context size 131072 and maxTokens in OMP set to 64000. I would run into a problem where the existing context plus the next promt size would choke. The error message from OMP is:


✘ 400 prompt (67811 tokens) + max tokens (64000) exceeds the context (131072); requests are never
 truncated. Se…
   prompt (67811 tokens) + max tokens (64000) exceeds the context (131072); requests are never
 truncated. Send a…
   raw-http-request=C:\Users\Jared\.omp\logs\http-400-requests\1791019190383-1s8auzy6vao75.json
 Dismissed when you send your next message.

After some back and forth with Claude we found that this can be fixed with a setting already in Strata, change fit_max_tokens from False to True. I can't find any way to do this manually though, if I add it to my strata-iq3_xxs.json file it just gets overwritten again when I launch.

The only way I found to change it was in setup.py, find this code:


    cfg = {"exe": str(eng / EXE), "args": args, "cwd": str(ROOT), "tokenizer": str(pack / "tokenizer"),
           "model_name": f"{fam['name']}-{model.lower()}", "log": str(ROOT / f"strata-{tag.lower()}.log"),
           "lib_dirs": lib_dirs, "port": a.port}

and change the last line to:

           "lib_dirs": lib_dirs, "port": a.port, "fit_max_tokens": True}

After that,
"fit_max_tokens": true,
appears in strata-iq3_xxs.json and the context problem in OMP goes away and it all works fine.

Perhaps fit_max_tokens should be true by default? Or easily set with a command line option?

Lingua principale
C++
Stelle
11.6k
Fork
1k
Merge medio
7h 46m
PR unite (30g)
30

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Niko1221/Strata

Tutte le issue di Niko1221/Strata

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.