[feature]: fraise adapter requests explain mode and records per-hit contributions
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 48/100
Direzione di ricerca
Start by locating the fraise adapter's recall call and the code that writes results.jsonl. Check how the Python SDK exposes explain mode and what to do when it is unavailable. Done means fraise hits record source, score, rank, degree, and via; other systems remain unchanged, and a missing SDK capability is a no-op.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
What kind of addition is this?
New metric / evaluation axis
What are you proposing?
When the fraise SDK exposes it, call recall in explain mode and write each hit's contributions (source, score, rank, degree, via) into results.jsonl. Off for other systems; a no-op if the SDK lacks it.
Why does the benchmark need this?
Every ranking experiment on fraise currently needs a rebuild and a full rerun. With contributions in the run record, cutoff sweeps, source-weighting and channel ablations become offline passes over cached runs — and it makes visible, per query, whether the graph channel contributed anything. Depends on FraiseHQ/fraise adding explain to the Python SDK.
Would you be able to contribute this yourself?
Yes, once the SDK side lands.
- Lingua principale
- Python
- Stelle
- 1
- Fork
- 0
- Merge medio
- 15h 58m
- PR unite (30g)
- 59
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di RonsenbergVI/agent-memory-benchmarks
-
[new system]: MIRIXApertanew-system size:L
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
RonsenbergVI/agent-memory-benchmarks#269 ·
I maintainer di solito rispondono entro 1 giorno
-
maintenance size:M
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
RonsenbergVI/agent-memory-benchmarks#173 ·
I maintainer di solito rispondono entro 1 giorno
-
area:docs documentation enhancement good first issue size:S
Difficoltà 2/5 Mezza giornata Idoneità per principianti 75/100
RonsenbergVI/agent-memory-benchmarks#51 ·
I maintainer di solito rispondono entro 1 giorno
-
area:ci enhancement good first issue size:XS
Difficoltà 1/5 1-3 ore Idoneità per principianti 90/100
RonsenbergVI/agent-memory-benchmarks#49 ·
I maintainer di solito rispondono entro 1 giorno
-
area:docs documentation enhancement good first issue size:S
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
RonsenbergVI/agent-memory-benchmarks#47 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di RonsenbergVI/agent-memory-benchmarks
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
huggingface/deep-rl-class#723 ·
-
[tool] bug: Qwen3 XML tool parser raises on `...` argument values (Ellipsis is not JSON serializable)Forse già presa @super-yuki l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 87/100
verl-project/verl#8559 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
TencentCloud/octop-harness#228 ·
I maintainer di solito rispondono entro 1 giorno
-
fix(requirements): UTF-8 BOM omits the first pinned requirementForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
google/osv-scalibr#2585 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
NousResearch/hermes-agent#149323 ·
I maintainer di solito rispondono entro 1 giorno