[Bug]: Task listing reads records one at a time; local Compile polls every 30 s regardless of poll_interval_ms

Aperta Adatta ai principianti
#7,622 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
62/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
backend

Direzione di ricerca

Inizia da openviking/service/task_store.py, dove l'elenco delle attività legge sequenzialmente ogni record durevole, e da openviking/service/compile_service.py, dove il client Compile locale viene costruito con poll_interval_ms fissato a 30000. Confronta con il client remoto, che rispetta il poll_interval_ms configurato, e passa self._config.poll_interval_ms. È completato quando il client locale usa l'intervallo configurato e l'elenco legge i record in gruppi concorrenti limitati, con gli stessi controlli di proprietà, filtri e ordinamento. Prima di iniziare, confrontati con chi ha segnalato il problema, perché si è offerto di aprire la PR e le due modifiche potrebbero essere separate.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Version

OpenViking v0.5.4 (9dfa9017a). The same code is on current main (checked 2026-11-13).

Summary

Two separate throughput problems in task handling:

  1. Listing tasks (openviking/service/task_store.py) reads every durable task record sequentially, so a list call on object storage with a few thousand records takes minutes.
  2. The local Compile client in openviking/service/compile_service.py is built with poll_interval_ms=30000 hard-coded, although the compile configuration has a poll_interval_ms setting (default 5000) that the remote client honours.
Reproduction
  1. Create a few thousand task records on a store with read latency and call the task list endpoint. Time grows linearly with the record count.
  2. Set poll_interval_ms low and run a local Compile. It still polls every 30 seconds.
Proposed fix
  • Read records in bounded concurrent groups (for example 16 at a time) with the same owner checks, filters and ordering.
  • Pass self._config.poll_interval_ms to the local client.

We run a local patch with both changes and are happy to open a PR (or split it in two).

Lingua principale
Python
Stelle
42.3k
Fork
3.5k
Merge medio
16h 23m
PR unite (30g)
555

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di volcengine/OpenViking

Tutte le issue di volcengine/OpenViking

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.