Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Engine] Turn ends whenever the model tries to write "Nerazim"

Chiusa
  • Qualcosa non va?
#4,576 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 3 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
46/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
cpp
Ambito
machine-learning

Direzione di ricerca

Start by reproducing the truncation with the DeepSeek-V4.1-Flash shards and settings listed in the issue, then compare behavior with llama.cpp using the same prompt and shards. The report does not name a source file or failing test, so trace where generated tokens or stop conditions are handled in the Strata engine. Done means the engine completes the response with “Nerazim” and the reported matching strings no longer trigger an early stop.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Problem:
The Strata dsv41 engine (DeepSeek-V4.1-Flash) hard-stops the turn mid-generation, writing only "Neraz" when asked to use the name "Nerazim" in a sentence. Any string matching /\b\w+zim\b/i triggers the same stop. The same shards do not break in llama.cpp.

Environment:

  • Engine: strata 0.2.7 / build 0.1.52 (linux-x86_64-cuda-cuda13), /data/strata/engine-dsv41/0.1.52-linux-x86_64-cuda-cuda13/strata-dsv41
  • OS: Ubuntu
  • GPU/VRAM: NVIDIA RTX 5090, 32.6 GiB (GPU0, CUDA 13)
  • Model/quant: DeepSeek-V4.1-Flash-1017 GSQ-RCO IQ2_XS (2.25 bpw) — reproduces on BOTH the Strata-downloaded shards (original 4-shard Strata layout) and the fresh 6-shard vendor pack built via pack_gguf.py from the vendor's 6-shard llama.cpp GGUF set (48824 tensors; Engram IQ4_NL, DSpark Q8_0 drafter, mmproj BF16 tower)
  • Relevant settings: --pack /data/Strata-data/packs/deepseek-v4.1-flash-ist-das-2.25bpw-6shard --max-context 262144 --eos 1 --vision on --dspark auto --dspark-conf 0.65 --mmap-experts auto, TP=1, parallel 1, serving on :8000

Reproduce:

  1. Launch DeepSeek-V4.1-Flash on the Strata engine.
  2. Ask the model to use the name "Nerazim" in a sentence (any string matching /\b\w+zim\b/i triggers it).

Expected:
The turn completes with the word written in full — the same shards serve it normally in llama.cpp.

Actual:
The turn ends after writing only "Neraz" (the word truncated mid-generation); hard stop, no further tokens, no error in the response.

Evidence:

  • Client-side capture of the failed response: the turn ends after writing only "Neraz".
    Image

  • Engine log (aggregate only — it records token counts, never prompt/response text): the request read 3961 prompt tokens and generated only 12 before stopping: prompt 3961 tokens = 0 reused + 3961 read in 52275 ms (75.8 tok/s), 12 generated in 4458 ms (2.69 tok/s).

Reproduction status: Reproduced locally

Lingua principale
C++
Stelle
11.6k
Fork
1k
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Niko1221/Strata

Tutte le issue di Niko1221/Strata

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.