Spike: choose the Keeper's decision model on the VM

Aperta
  • Qualcosa non va?
#63 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
45/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
csharp
Ambito
ai, performance

Direzione di ricerca

Read parent issue #21 and inspect the pending and completed batches in research/batches/ to find the stored inputs and questions. Write an external replay script that sends each result to /v1/systemone and records answers, latency, and llama-server peak RAM; run it on the target VM alongside the Qwen chat model. Record the router flags in the README's local-models section and post the model, quant, measurements, and threshold estimates on #21.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement

Parent

#21

What to build

A spike on the target VM to choose the Keeper's decision model before anything is built on it. No CPU numbers are published for any candidate, and the Keeper has to share the 4-core ARM VM and llama-server with the Qwen chat model the Pleb and Clerk use.

An agent writes a small script (kept outside the app, e.g. under scripts/) that reads the real pending and completed batches in research/batches/. For each result it sends one /v1/systemone request with the questions from #21 (useful, kind, injection, quotes) and records the latency and answers. The author runs it on the VM; the steps below that need the VM are the author's.

Acceptance criteria

  • Script that replays stored batches against /v1/systemone and prints, per model, median/p95 latency, peak RAM of llama-server and the answers per result (CSV or markdown)
  • llama-server router mode serving the Qwen chat model and one Keeper candidate side by side confirmed on the VM, with the flags used recorded in the README's local-models section
  • Kev-4B Q4_K_M measured; Kev-0.8B and Laya measured if Kev-4B is too slow or doesn't fit in RAM next to Qwen
  • Decision recorded as a comment on #21: the chosen model, its quant, measured latency/RAM, and a first guess at the keep and injection thresholds from the answers

Blocked by

None - can start immediately

Lingua principale
C#
Stelle
0
Fork
0
Merge medio
40m
PR unite (30g)
47

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di DigiBanks99/knowledge-base

Tutte le issue di DigiBanks99/knowledge-base

Issue simili

Altre issue su C#

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.