elastic/elasticsearch

ETA for Reindex API

Open

#76.904 geöffnet am 25. Aug. 2021

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (76.700 Stars) (25.882 Forks)batch import
:Distributed/Reindex>enhancementTeam:Distributedhelp wanted

Beschreibung

The get task API (e.g. GET _tasks/lOHn4ATPST6LfKCW6m539w:517820) should include an estimated time of completion where applicable.

Specifically when using the reindex API, I had to write myself a basic tool some time ago to estimate when the task would be completed using the total, created, updated, start_time_in_millis, and running_time_in_nanos properties. (Although I believe in cases where the reindex operation omits some documents, this may not even be sufficient!)

It would be great if this functionality was built into this API.

Contributor Guide

Tech Stack
javarest api
Domain
apisearchobservability
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
over 1 week
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
mostly clear
Voraussetzungen
Elasticsearch task frameworkREST API endpointsJava concurrencyTime estimation logic
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20
Research-Richtung
Investigate the Elasticsearch task management system, specifically the get task API implementation at `GET tasks/{taskId}`. Understand how the reindex operation tracks progress using fields like `total`, `created`, `updated`, `start time in millis`, and `running time in nanos`. Research potential algorithms like exponential moving average to estimate ETA, considering that documents may be omitted. Review existing discussions in the issue and any linked resources. Look at the `TasksClient.java` and `TransportTasksAction.java` source files for implementation details. Proposing adding an `estimated completion time` field to the task response is a starting point.