Extreme slow down when using Map#lock/unlock from multiple threads [API-1968]
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 38/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- distributed-systems
Línea de trabajo
Comienza ejecutando el reproductor de Python proporcionado con un cliente Hazelcast, varios hilos y Map#lock/unlock; después, inspecciona las rutas del cliente utilizadas por el bloqueo de mapa bloqueante y por las operaciones lock, get, put y unlock. El trabajo estará terminado cuando se haya identificado por qué la ejecución concurrente es considerablemente más lenta que la ejecución secuencial y se haya verificado que la carga de trabajo indicada ya no muestra la ralentización.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Running the Pessimistic Locking example from multiple threads using the same client takes vastly different amounts of time.
The sequential runs of the same code can give:
It took 68.364421721 second(s) to finish.
It took 2666.208992902 second(s) to finish.
Using one Hazelcast instance. The behaviour is reproducible on MacOS and Linux. Using python3
The code sample:
import hazelcast
from time import perf_counter
from concurrent.futures import ThreadPoolExecutor
from threading import Thread
if __name__ == "__main__":
client = hazelcast.client.HazelcastClient(
cluster_name="dev",
lifecycle_listeners=[
lambda state: print("Lifecycle event >>>", state),
]
)
# Defining send_query func and pooled_query func, to send requests using ThreadPoolExecutor
desired_range = range(10000)
desired_threads = 10
# Create a Distributed Map in the cluster
counter_map = client.get_map("counter-map").blocking()
counter_map.put("key", 0)
# Pesimistic Locking
def send_query(range_parameter):
for i in range_parameter:
counter_map.lock("key")
try:
counter = counter_map.get("key") + 1
counter_map.put("key", counter)
finally:
counter_map.unlock("key")
def pooled_query():
# create the thread pool
n_threads = desired_threads
with ThreadPoolExecutor(n_threads) as executor:
# push query for each thread
_ = [executor.submit(send_query, desired_range) for i in range(0, desired_threads)]
def pooled_query_thread():
threads = []
for i in range(desired_threads):
thread = Thread(target=send_query, args=(desired_range,))
threads.append(thread)
for thr in threads:
thr.start()
for thr in threads:
thr.join()
## Timer start
start = perf_counter()
## Invoke ThreadPoolExecutor to send requests
if __name__ == "__main__":
# pooled_query()
pooled_query_thread()
## Timer end
finish = perf_counter()
print(f'It took {finish-start} second(s) to finish.')
for key, value in counter_map.entry_set():
print(key, value)
client.shutdown()
- Lenguaje dominante
- Python
- Estrellas
- 115
- Forks
- 78
- Merge medio
- 2 d 23 h
- PR fusionados (30 d)
- 2
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de hazelcast/hazelcast-python-client
-
Type: Test-Failure
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Type: Test-Failure
Dificultad 3/5 1-2 días Aptitud para principiantes 52/100
-
asyncio Type: Test-Failure
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
asyncio to-jira Type: Test-Failure
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
hazelcast/hazelcast-python-client#761 · 1 comentario ·
-
asyncio to-jira Type: Test-Failure
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
hazelcast/hazelcast-python-client#760 · 1 comentario ·
Todos los issues de hazelcast/hazelcast-python-client
Issues similares
-
bug good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
aws-samples/sample-spec-driven-presentation-maker#648 ·
Los mantenedores suelen responder en 1 día
-
firestore: enable live window.yaml pipeline system tests once add_window_fields is in productionAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 64/100
googleapis/google-cloud-python#19115 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Feyisara2108/stellargive#1377 ·
Los mantenedores suelen responder en 1 día
-
CRS WKT default to WKT2Abiertoenhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
Los mantenedores suelen responder en 1 día