Extreme slow down when using Map#lock/unlock from multiple threads [API-1968]
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 38/100
- Issue-Typ
- Bug
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- distributed-systems
Rechercherichtung
Beginne damit, den bereitgestellten Python-Reproducer mit einem Hazelcast-Client, mehreren Threads und Map#lock/unlock auszuführen, und untersuche anschließend die vom blockierenden Map-Lock sowie von den Operationen lock, get, put und unlock verwendeten Client-Pfade. Erledigt ist die Aufgabe, wenn identifiziert wurde, warum die nebenläufige Ausführung drastisch langsamer als die sequenzielle Ausführung ist, und verifiziert wurde, dass die gemeldete Arbeitslast die Verlangsamung nicht mehr zeigt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Running the Pessimistic Locking example from multiple threads using the same client takes vastly different amounts of time.
The sequential runs of the same code can give:
It took 68.364421721 second(s) to finish.
It took 2666.208992902 second(s) to finish.
Using one Hazelcast instance. The behaviour is reproducible on MacOS and Linux. Using python3
The code sample:
import hazelcast
from time import perf_counter
from concurrent.futures import ThreadPoolExecutor
from threading import Thread
if __name__ == "__main__":
client = hazelcast.client.HazelcastClient(
cluster_name="dev",
lifecycle_listeners=[
lambda state: print("Lifecycle event >>>", state),
]
)
# Defining send_query func and pooled_query func, to send requests using ThreadPoolExecutor
desired_range = range(10000)
desired_threads = 10
# Create a Distributed Map in the cluster
counter_map = client.get_map("counter-map").blocking()
counter_map.put("key", 0)
# Pesimistic Locking
def send_query(range_parameter):
for i in range_parameter:
counter_map.lock("key")
try:
counter = counter_map.get("key") + 1
counter_map.put("key", counter)
finally:
counter_map.unlock("key")
def pooled_query():
# create the thread pool
n_threads = desired_threads
with ThreadPoolExecutor(n_threads) as executor:
# push query for each thread
_ = [executor.submit(send_query, desired_range) for i in range(0, desired_threads)]
def pooled_query_thread():
threads = []
for i in range(desired_threads):
thread = Thread(target=send_query, args=(desired_range,))
threads.append(thread)
for thr in threads:
thr.start()
for thr in threads:
thr.join()
## Timer start
start = perf_counter()
## Invoke ThreadPoolExecutor to send requests
if __name__ == "__main__":
# pooled_query()
pooled_query_thread()
## Timer end
finish = perf_counter()
print(f'It took {finish-start} second(s) to finish.')
for key, value in counter_map.entry_set():
print(key, value)
client.shutdown()
- Vorherrschende Sprache
- Python
- Sterne
- 115
- Forks
- 78
- Ø Merge
- 2 T. 23 Std.
- Gemergte PRs (30 T.)
- 2
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus hazelcast/hazelcast-python-client
-
Type: Test-Failure
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
-
Type: Test-Failure
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 52/100
-
asyncio Type: Test-Failure
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100
-
asyncio to-jira Type: Test-Failure
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
hazelcast/hazelcast-python-client#761 · 1 Kommentar ·
-
asyncio to-jira Type: Test-Failure
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
hazelcast/hazelcast-python-client#760 · 1 Kommentar ·
Alle Issues in hazelcast/hazelcast-python-client
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
marketcalls/openalgo#2472 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 95/100
marimo-team/marimo#11949 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug server-time v2
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
modelcontextprotocol/servers#5559 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
jxxghp/MoviePilot#7449 ·
Maintainer antworten meist innerhalb von 1 Tag
-
devops help wanted
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
guaardvark/guaardvark#421 ·
Maintainer antworten meist innerhalb von 2 Tagen