[Bug] Limiting memory does not degrade query latency
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Bug
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Bereich
- databases, performance
Rechercherichtung
Beginne damit, die gemeldete Workload aus MulletBench mithilfe der in der Issue beschriebenen Docker-Compose-Speicherkonfigurationen zu reproduzieren, und vergleiche die Abfragelatenz mit der Speichernutzung des Containers. Verfolge das Datenbankverhalten, das für die unveränderte Latenz über die Limits hinweg verantwortlich ist; als abgeschlossen gilt die Arbeit, wenn die Ursache identifiziert und eine Korrektur anhand der Workloads für Aggregation, Downsampling und Ausreißerfilter validiert wurde.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Search before asking
- I searched in the issues and found nothing similar.
Version
1.1.3 and 1.3.4 (tested with standalone Docker image)
Describe the bug and provide the minimal reproduce step
While testing IoTDB under limited memory configurations, using docker for that effect, it was found that the database's performance won't drop until the threshold of 4GB of memory is hit, despite it always using the maximum amount of memory allocated for the container.
It was expected that progressively constraining the database's available memory would lead to gradual performance degradation, but instead IoTDB maintains virtually identical query latency across the tested memory limits, despite always consuming the maximum amount of memory available to the container.
Minimal reprodution steps:
- Launch IoTDB in standalone mode with constrained memory using Docker Compose
- Preload data before executing queries
- Execue a query workload, using the same for every memory configuration
The queries follow the following templates:
-- Aggregation
select agg_func(field) from path where time >= start and time <= end
-- Downsampling
select field from path group by ([start, end), step)
-- Outlier-filter
select field from path where time >= start and time <= end and field [>,>=,<,<=] threshold
What did you expect to see?
Either performance degradation as memory limits get increasingly smaller, or the container not using all the memory available to it, if it is able to maintain performance with less memory usage.
What did you see instead?
Performance didn't degrade until the 4GB memory limit, remaining similar regardless of the limit used, despite the database always using the maximum memory allocated to it.
Anything else?
The tests were run using MulletBench, as well as plot generation.
Are you willing to submit a PR?
- I'm willing to submit a PR!
- Vorherrschende Sprache
- Java
- Sterne
- 6.4k
- Forks
- 1.2k
- Ø Merge
- 1 T. 17 Std.
- Gemergte PRs (30 T.)
- 152
Entwicklungsumgebung
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus apache/iotdb
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
apache/iotdb#18655 · 1 Reaktion ·
Maintainer antworten meist innerhalb von 1 Tag
-
IoTDB Edge: stop-edge.sh does not stop its own process when IOTDB_HOME is set, and reports successOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug] findColumn throws NullPointerException instead of SQLException for an unknown column nameOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
Ähnliche Issues
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
Maintainer antworten meist innerhalb von 1 Tag
-
ci-failure-cause test-failure
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
nextcloud/notes-android#3367 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Feature
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
MuntashirAkon/AppManager#2058 ·
-
SarifLogger: artifactLocation.uri is not properly encoded for file names containing '#', '?', or '%'Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
checkstyle/checkstyle#21721 ·
Maintainer antworten meist innerhalb von 1 Tag