map_sync with pandas operation function does not finish.
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 25/100
- Type d'issue
- Bug
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- jupyter, numpy, pandas, python
- Domaine
- data, distributed-systems
Piste de recherche
Commencez par la reproduction Windows fournie en utilisant map_sync d'ipyparallel, 40 sub-dataframes et l'opération groupby/apply de pandas ; examinez la sortie du client et du worker lorsque le traitement s'arrête après environ 10 dataframes cibles. L'issue est terminée lorsque la cause du map_sync incomplet est identifiée et qu'un correctif reproductible ou une limitation confirmée est documenté.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Map_sync with pandas operation function does not finish.
I have very long dataframe. So I split the dataframe into 40 sub-dataframes, and apply pandas operation to 40 sub-dataframes parallelly by using map_sync. The pandas operation is just about groupby and apply.
My code is like this:
PEN = 40
dfs = np.array_split(target_df, PEN)
c = ipp.Cluster(n=PEN)
with c as rc:
e_all = rc[:]
results = e_all.map_sync(FUCTION, dfs)
results
I have 30 target_dfs. For the first 10 target dfs map_sync worked fine. But after that map_sync didn't complete.
I have found that without parallelism, the pandas job applied to target_df completes in under 2 hours.
I use window os and Ipyparallel version is the lastest.
- Langage dominant
- Jupyter Notebook
- Étoiles
- 2.6k
- Forks
- 1k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de ipython/ipyparallel
-
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
ipython/ipyparallel#1029 · 9 commentaires ·
-
pidigits example website is goneOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 35/100
ipython/ipyparallel#984 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
ipython/ipyparallel#937 · 4 commentaires ·
-
Packages and definitions loaded in the regular kernel are not known by engines and vice versaOuvertequestion
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
ipython/ipyparallel#897 · 12 commentaires ·
-
bug
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
ipython/ipyparallel#882 ·
Toutes les issues de ipython/ipyparallel
Issues similaires
-
correction metadata
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
acl-org/acl-anthology#10104 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Report: FX (United States) EastOuvertecheck:passed streams:remove
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
Les mainteneurs répondent en général sous 1 jour
-
type-bug
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
statsmodels/statsmodels#10290 ·
Les mainteneurs répondent en général sous 1 jour
-
[Anon] Skaven: points costOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
BSData/age-of-sigmar-4th#1371 ·
-
effort:low impact:medium RAG status: auto-triaged
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
mastra-ai/mastra#25229 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour