Engine crash with high KV profile

I maintainer di solito rispondono entro 1 giorno

Valutazione

Direzione di ricerca

Descrizione

Before you start

• I have read the FAQ and my problem is not answered there.
• I have read the Roadmap and this is not already planned there.
• I have searched existing issues and found no duplicate.
• I am on the latest release, or on a freshly rebuilt main when building from source.

What happened

freetoken.log
With these settings, i can run agent on it with previous freetoken engine version. Now its spawn full my vram after crash.
The problem happen on prefill, when agent start to request new.

How did you install FreeToken

pip / uv wheel

FreeToken version

freetoken version 0.2.0+gfe5a5ec9c

OS

Arch Linux

OS details

7.2.11-arch1-1

GPU and driver

RTX 5050 Laptop GPU 8GB VRAM

CPU and system RAM

i7-13650HX, 32GB

Checkpoint

nvidia/Qwen3.6-35B-A3B-NVFP4

Command

freetoken-desktop v0.2.0-beta.24

Full log

Anything else

No response

Preparare l'ambiente

Come iniziare

1. Leggi tutta la issue e poi la guida ai contributi del progetto.
2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
3. Fai un fork del repository e lavora su un branch.
4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di FlashML-org/FreeToken

• "Mamba State Slot" is easy to misread — suggest "session snapshots (GDN state)" with a tooltip about the VRAM budget

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  Desktop feature

  Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

  FlashML-org/FreeToken#800 · 1 commento · Aperta il 22/10/2026

  I maintainer di solito rispondono entro 1 giorno

• /v1/completions: `prompt: []` returns 200 with no choices, and both completions paths drop the error code (context_length_exceeded)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100

  FlashML-org/FreeToken#767 · Aperta il 20/10/2026

  I maintainer di solito rispondono entro 1 giorno

• test_gemv_path_matches_the_transcription fails on sm_120 (bf16 rounding tie exceeds the tolerance)

  Forse già presa @void-mckenzie l’ha presa 17 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100

  FlashML-org/FreeToken#649 · 1 commento · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Qwen3.8-Flash-Next: transformers 5.16 drops \p{M} from the pre-tokenizer, so combining-mark text gets different ids

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  FlashML-org/FreeToken#648 · 1 commento · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 1 giorno

• /v1/chat/completions returns 400 for the OpenAI developer role

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100

  FlashML-org/FreeToken#646 · 1 commento · Aperta il 8/10/2026

  I maintainer di solito rispondono entro 1 giorno

Tutte le issue di FlashML-org/FreeToken

Issue simili

• Asset page metadata panel logs a debug line with console.error on every validation change

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 86/100

  awslabs/visual-asset-management-system#937 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Admin member of a research group cannot see the HX2 allocation until they've been added to it

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

  ImperialCollegeLondon/imperial_coldfront_plugin#468 · Aperta il 30/10/2026

• pr-babysit: collect.py fails on a persistent HTTP 502 at per_page=100 and never retries a smaller page

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  follow-up

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  hathach/agentrc#362 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 1 giorno

• test_git_status_keeps_real_names_and_fails_closed fails when git output is translated

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 1/5 Meno di un'ora Idoneità per principianti 83/100

  unclebob/mutator#24 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 3 giorni

• Docling image captions never land where the figure was

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100

  linagora/openrag#1313 · Aperta il 30/10/2026

  I maintainer di solito rispondono entro 2 giorni

Altre issue su Python