Extreme slow down when using Map#lock/unlock from multiple threads [API-1968]
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 38/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- distributed-systems
Piste de recherche
Commencez par exécuter le reproducteur Python fourni avec un client Hazelcast, plusieurs threads et Map#lock/unlock, puis inspectez les chemins client utilisés par le verrou de map bloquant et par les opérations lock, get, put et unlock. Le travail est terminé lorsque la raison pour laquelle l’exécution concurrente est considérablement plus lente que l’exécution séquentielle a été identifiée et qu’il a été vérifié que la charge de travail signalée ne présente plus ce ralentissement.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Running the Pessimistic Locking example from multiple threads using the same client takes vastly different amounts of time.
The sequential runs of the same code can give:
It took 68.364421721 second(s) to finish.
It took 2666.208992902 second(s) to finish.
Using one Hazelcast instance. The behaviour is reproducible on MacOS and Linux. Using python3
The code sample:
import hazelcast
from time import perf_counter
from concurrent.futures import ThreadPoolExecutor
from threading import Thread
if __name__ == "__main__":
client = hazelcast.client.HazelcastClient(
cluster_name="dev",
lifecycle_listeners=[
lambda state: print("Lifecycle event >>>", state),
]
)
# Defining send_query func and pooled_query func, to send requests using ThreadPoolExecutor
desired_range = range(10000)
desired_threads = 10
# Create a Distributed Map in the cluster
counter_map = client.get_map("counter-map").blocking()
counter_map.put("key", 0)
# Pesimistic Locking
def send_query(range_parameter):
for i in range_parameter:
counter_map.lock("key")
try:
counter = counter_map.get("key") + 1
counter_map.put("key", counter)
finally:
counter_map.unlock("key")
def pooled_query():
# create the thread pool
n_threads = desired_threads
with ThreadPoolExecutor(n_threads) as executor:
# push query for each thread
_ = [executor.submit(send_query, desired_range) for i in range(0, desired_threads)]
def pooled_query_thread():
threads = []
for i in range(desired_threads):
thread = Thread(target=send_query, args=(desired_range,))
threads.append(thread)
for thr in threads:
thr.start()
for thr in threads:
thr.join()
## Timer start
start = perf_counter()
## Invoke ThreadPoolExecutor to send requests
if __name__ == "__main__":
# pooled_query()
pooled_query_thread()
## Timer end
finish = perf_counter()
print(f'It took {finish-start} second(s) to finish.')
for key, value in counter_map.entry_set():
print(key, value)
client.shutdown()
- Langage dominant
- Python
- Étoiles
- 115
- Forks
- 78
- Merge moyen
- 2 j 23 h
- PR mergées (30 j)
- 2
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de hazelcast/hazelcast-python-client
-
Type: Test-Failure
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
-
Type: Test-Failure
Difficulté 3/5 1-2 jours Accessibilité débutants 52/100
-
asyncio Type: Test-Failure
Difficulté 4/5 3-5 jours Accessibilité débutants 38/100
-
asyncio to-jira Type: Test-Failure
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
hazelcast/hazelcast-python-client#761 · 1 commentaire ·
-
asyncio to-jira Type: Test-Failure
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
hazelcast/hazelcast-python-client#760 · 1 commentaire ·
Toutes les issues de hazelcast/hazelcast-python-client
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
marketcalls/openalgo#2472 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 95/100
marimo-team/marimo#11949 ·
Les mainteneurs répondent en général sous 1 jour
-
bug server-time v2
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
modelcontextprotocol/servers#5559 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
jxxghp/MoviePilot#7449 ·
Les mainteneurs répondent en général sous 1 jour
-
devops help wanted
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
guaardvark/guaardvark#421 ·
Les mainteneurs répondent en général sous 2 jours