I would like my cached methods to never return expired values and block wait instead.

Ouverte
  • Quelque chose ne va pas ?
#264 4 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
35/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
python
Domaine
backend

Piste de recherche

Commencez par dogpile/cache/region.py aux lignes liées 954-958 et suivez la manière dont une valeur expirée est traitée pendant qu’un autre processus crée un remplacement. Utilisez la reproduction fournie avec multiprocessing pour vérifier le comportement actuel. Le travail est terminé lorsque les appels concurrents attendent la valeur actualisée au lieu de recevoir la valeur expirée, la reproduction montrant que les deux appels renvoient la nouvelle valeur.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Hello,

I have a multiproces/thread scenario where my cached function can be called at the same time.

I end up falling into the scenario of
https://github.com/sqlalchemy/dogpile.cache/blob/de85b101f864bd0f5f3ba97dc96950b94f143d82/dogpile/cache/region.py#L954-L958

So what I have is an expired value in the cache.
Thread 1 retrieves it, notices it's expired, starts creating a new value, and will return the new value.
Meanwhile; Thread 2 retrieves it, notices it's expired, notices thread 1 is busy creating and returns the old value.

But the old value is entirely useless for my case. It's expired for a reason. Is there a way to configure the cache region to never return expired values and just block/wait for creation instead. Just like a cache miss?

(simplified) Code to reproduce my issue:

import os
import time
from multiprocessing import Process

from dogpile.cache import make_region

cache_region = make_region()
cache_region.configure(
    "dogpile.cache.dbm",
    expiration_time=1,
    arguments={
        "filename": "/tmp/cache.dbm",
    },
)


@cache_region.cache_on_arguments()
def get_value():
    print(os.getpid(), "Making new value...")
    time.sleep(2)
    return f"Got value {time.time():.0f}"


def run():
    print(os.getpid(), get_value())


print("3 sync calls in a row (value should be made once):")
run()
run()
run()

processes = []
for i in range(2):
    process = Process(target=run)
    processes.append(process)

time.sleep(2)
print()
print("2 async calls after cache expired (value should be made once) and be different from the previous:")
for process in processes:
    process.start()
for process in processes:
    process.join()

Example output:

3 sync calls in a row (value should be made once):
103954 Making new value...
103954 Got value 1740579012
103954 Got value 1740579012
103954 Got value 1740579012

2 async calls after cache expired (value should be made once) and be different from the previous:
103978 Got value 1740579012
103977 Making new value...
103977 Got value 1740579016

In the above output, the line 103978 Got value 1740579012 is bad for me. That should never return an expired value.

Langage dominant
Python
Étoiles
301
Forks
51
Aucune PR mergée en 30 j

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de sqlalchemy/dogpile.cache

Toutes les issues de sqlalchemy/dogpile.cache

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.