[Bug] BanyanDB stream scans run out of query memory even with a small limit
I maintainer di solito rispondono entro 1 giorno
@hanahmily ci sta già lavorando.
Dal 23/10/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Search before asking
- I had searched in the issues and found no similar issues.
Apache SkyWalking Component
BanyanDB (apache/skywalking-banyandb)
What happened
The nightly Slow Test has been red since about Sept 14. The 3-day load test fails while scanning all data with query memory pool exhausted on stream sw, with the default limit of 20.
From reading the code, the stream query charges every block it loads and every batch the sorted merge takes in, and nothing is given back until the query ends, even though the merge only keeps a few rows. So a plain scan fails once it reads enough data, however small the limit. This lines up with #1334 landing on Sept 14. On the runner the cgroup limit is max, so the pool falls back to 64 MiB and 8 MiB per query, which is why CI hits it first.
What you expected to happen
A limited scan should only be charged for what it holds, and pass.
How to reproduce
Run the Slow Test workflow, or the "3 days with 1 day segment and 3 days ttl" spec in test/integration/load with LOAD_TEST_MINUTES=4320.
Anything else
The client also gets a generic internal error instead of resource exhausted, since the error turns into a string on the way out.
One thing I can't explain yet: the 10-day spec reads about as much data and passes, so how the parts are laid out probably matters too.
I think the fix is to refund blocks once their cursor is released and the rows the merge drops. Happy to work on it if that's the direction you want, or if you'd rather bump the test budget for now.
Are you willing to submit a pull request to fix on your own?
- Yes I am willing to submit a pull request on my own!
Code of Conduct
- I agree to follow this project's Code of Conduct
- Lingua principale
- Java
- Stelle
- 25k
- Fork
- 6.6k
- Merge medio
- 15h 4m
- PR unite (30g)
- 32
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/skywalking
-
feature UI
Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100
apache/skywalking#14173 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] Trace profiling segment list becomes empty after the task finishes, while still inside the query windowForse già presa @hanahmily l’ha presa oggi. Apertabug database
apache/skywalking#14172 · 3 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] BanyanDB trace block metadata format changed in 0.11 without a file format version bumpForse già presa @hanahmily l’ha presa 1 giorno fa. Apertabug database
apache/skywalking#14169 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
chore CLI database
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
apache/skywalking#14168 ·
I maintainer di solito rispondono entro 1 giorno
-
[Feature] Canopy auth 2/2: SSO (OIDC/OAuth2), break-glass and the auth design docForse già presa @hanahmily l’ha presa 3 giorni fa. Apertadatabase feature
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
apache/skywalking#14162 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di apache/skywalking
Issue simili
-
agent:working bug follow-up lane:auto
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Sanne/incus-spawn#1765 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Mend: dependency security vulnerability untriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 63/100
opensearch-project/data-prepper#7219 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
I maintainer di solito rispondono entro 1 giorno
-
Update Java flags pageAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
PaperMC/docs#824 · 1 commento · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno