map_sync with pandas operation function does not finish.
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- jupyter, numpy, pandas, python
- Área
- data, distributed-systems
Línea de trabajo
Comienza con la reproducción proporcionada en Windows usando map_sync de ipyparallel, 40 sub-dataframes y la operación groupby/apply de pandas; inspecciona la salida del cliente y del worker cuando el procesamiento se detenga después de aproximadamente 10 dataframes objetivo. El issue estará terminado cuando se identifique la causa del map_sync incompleto y se documente una corrección reproducible o una limitación confirmada.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Map_sync with pandas operation function does not finish.
I have very long dataframe. So I split the dataframe into 40 sub-dataframes, and apply pandas operation to 40 sub-dataframes parallelly by using map_sync. The pandas operation is just about groupby and apply.
My code is like this:
PEN = 40
dfs = np.array_split(target_df, PEN)
c = ipp.Cluster(n=PEN)
with c as rc:
e_all = rc[:]
results = e_all.map_sync(FUCTION, dfs)
results
I have 30 target_dfs. For the first 10 target dfs map_sync worked fine. But after that map_sync didn't complete.
I have found that without parallelism, the pandas job applied to target_df completes in under 2 hours.
I use window os and Ipyparallel version is the lastest.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 2.6k
- Forks
- 1k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ipython/ipyparallel
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
ipython/ipyparallel#1029 · 9 comentarios ·
-
pidigits example website is gone Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
ipython/ipyparallel#984 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
ipython/ipyparallel#937 · 4 comentarios ·
-
Packages and definitions loaded in the regular kernel are not known by engines and vice versa Abiertoquestion
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
ipython/ipyparallel#897 · 12 comentarios ·
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
ipython/ipyparallel#882 ·
Todos los issues de ipython/ipyparallel
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
open-compass/VLMEvalKit#1705 ·
-
Feature Request units
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
spacetelescope/synphot_refactor#447 · 2 comentarios ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
TauricResearch/TradingAgents#1397 ·