oslcquery speed up large --percontribution querying by parallelising query with processing of results from previous query

Offen

#21 erstellt am 28.9.2022 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 35/100

Issue-Typ: Feature
Klarheit: Größtenteils klar
Aktivitätsstatus: Veraltet
Tech-Stack: python
Bereich: api, cli

Rechercherichtung

Beginne damit, die Implementierung von oslcquery und den Abfragepfad --percontribution in diesem Python-Client zu lokalisieren. Verwende den bereitgestellten large-project-Befehl als Performance-Baseline und überprüfe anschließend, dass die Verarbeitung der Ergebnisse mit der nächsten Abfrage überlappt und sich die gemessene Laufzeit verbessert, ohne die exportierten Ergebnisse zu ändern.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

enhancement

One example doing counting of artifacts/module in a very large GC project with 1253 contributions containing 25886 modules and total of 6722401 bindings was spending about 50% of the time processing results, sequentially with the queries; if the processing can be done in parallel with the next query that's a significant speedup. Probably doesn't need anything more fancy/complicated than processing in parallel with the next query, but I suppose some more speedup might be possible with a controlled number of queries in parallel, at the cost of server load.

-q rdm_types:ArtifactFormat=jazz_rm:Module -s oslc_rm:uses,dcterms:title,dcterms:identifier

Vorherrschende Sprache: HTML
Sterne: 52
Forks: 32
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus IBM/ELM-Python-Client

_load_projects does not take into account include_archived Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

IBM/ELM-Python-Client#138 · 11 Kommentare · Erstellt am 25.6.2026
Cli tools are not working anymore with the latest version Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 48/100

IBM/ELM-Python-Client#131 · 2 Kommentare · Erstellt am 29.4.2026
Stubs for static type checker like mypy Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100

IBM/ELM-Python-Client#112 · 1 Kommentar · Erstellt am 01.10.2025
`_project.set_local_config` sets incorrect local_config_uri for GCM-enabled projects Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 52/100

IBM/ELM-Python-Client#107 · 6 Kommentare · Erstellt am 04.9.2025
Work Item Children for custom attribute script Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

IBM/ELM-Python-Client#65 · 2 Kommentare · Erstellt am 16.7.2024

Alle Issues in IBM/ELM-Python-Client