Compaction budget regression fixture remains below budget with accurate tokenization

Aperta Adatta ai principianti
#5,418 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

  • #5419 di @dajiaohuang — chiusa senza merge

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
62/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
testing

Direzione di ricerca

Il test che fallisce è TestCompactionMaxTokensResolution.test_unset_triggers_when_budget_approached, che costruisce il proprio input come "A" * 4 * (resolved + 50000). Inizia eseguendo il test con il tokenizer accurato per vedere la dimensione contata (68008 rispetto al budget di 86016), poi trova dove è definita la fixture. Sostituiscila con un input che superi effettivamente il budget contato, e verifica le premesse sotto e sopra il budget prima del controllo del trigger. È completato quando il test passa sia con il tokenizer accurato sia con l'euristica offline, senza modificare il codice di produzione della compattazione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

The whole-unit CI currently fails TestCompactionMaxTokensResolution.test_unset_triggers_when_budget_approached even though compaction correctly sees its input below the resolved budget.

On unchanged main@bb470c786 with a locally available accurate tokenizer, the resolved budget is 86016 tokens. The test constructs "A" * 4 * (resolved + 50000), but its counted size is only 68008 tokens: repeated A characters compress under BPE, so character-count/4 does not establish the test's over-budget premise. The same failure is present in the current #5410 unit run (10240 passed, 1 failed): https://github.com/MervinPraison/PraisonAI/actions/runs/36841174039/job/110300377492

Use a fixture that actually crosses the counted token budget, and assert the below/above-budget premises before testing the trigger. This should preserve coverage for both the accurate tokenizer and the offline heuristic without changing production compaction behavior or excluding tests.

Lingua principale
Python
Stelle
9.3k
Fork
1.5k
Merge medio
1g 5h
PR unite (30g)
520

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di MervinPraison/PraisonAI

Tutte le issue di MervinPraison/PraisonAI

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.