Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Geometry Lab: fine-tuning ignores a scratch-trained model's own vocabulary

Aperta
  • Qualcosa non va?
#6 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
70/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Tranquilla
Stack tecnologico
python, typescript
Ambito
backend, frontend, machine-learning

Direzione di ricerca

Inizia da code/backend/src/llm_geometry/geo/finetune.py alle righe 157 e 207, quindi confronta il flusso corrispondente in code/frontend/src/lib/staticClient/geo.ts. Esegui la riproduzione dello scratch training e del fine-tuning descritta nell’issue. Il lavoro è completato quando il fine-tuning preserva il vocabolario del modello addestrato da zero e una parola nota esegue un round-trip allo stesso ID del token in entrambi i percorsi.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Found by an adversarial review of the feature-005 documentation: a panel note claimed
fine-tuning "keeps the existing vocabulary". It does not, and the underlying behaviour is
wrong rather than the note being merely sloppy.

What happens

train from scratch mints a model with a fresh 1000-word vocabulary built from the
user's text, so its token ids mean different words than the shipped checkpoint's.
Fine-tuning that model then encodes the fine-tuning text with the shipped vocabulary:

  • code/backend/src/llm_geometry/geo/finetune.py:157 — ids = get_tokenizer().encode_stream(text)
    (the module-level canonical tokenizer, never tokenizer_for(base))
  • code/frontend/src/lib/staticClient/geo.ts — same, and its own docstring says
    "Fine-tuning keeps the shipped vocabulary"

So gradients land on rows whose ids mean something else entirely.

It also loses the base's vocabulary on the way out:
finetune.py:207 calls save_weight_set(new_ws, source="finetuned", store=store) with no
vocab_json, so tokenizer_for() falls back to the canonical tokenizer for the result —
and every dot on the sphere is relabelled with the shipped words.

Repro

  1. Train from scratch on any text with ≥1000 distinct types.
  2. Fine-tune the resulting model on a paragraph.
  3. Hover the dots: they are labelled with the shipped checkpoint's words, not yours.

Fix sketch

  • finetune.py: tokenize with tokenizer_for(base_token, store), and pass the base's
    vocab_json through to save_weight_set so the result keeps its own words.
  • Mirror in staticClient/geo.ts via the engine's tokenizerFor(base).
  • Test: scratch-train, fine-tune, assert the fine-tuned model's vocabulary equals the
    scratch model's and that a known word round-trips to the same id.

Documented in the meantime: the Info tab and the fine-tune panel both now say outright that
fine-tuning uses the shipped vocabulary, and link here.

Lingua principale
TypeScript
Stelle
2
Fork
0
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

  • Include un Dockerfile o un file Docker Compose
  • Nessun modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ContextLab/llm-geometry

Tutte le issue di ContextLab/llm-geometry

Issue simili

Altre issue su TypeScript

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.