Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[BUG] temp_dask folder sometimes is not founded and raises an error

Aperta
  • Qualcosa non va?
#8,902 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
30/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python
Ambito
distributed-systems

Direzione di ricerca

Inizia da dask/dataframe/shuffle.py, dove il traceback mostra che tempfile.mkdtemp viene chiamato durante dataframe.compute(), e verifica come viene creato e mantenuto il suo elemento padre tempdir su Windows. Riproduci il problema con molti file Parquet di piccole dimensioni e il percorso indicato E:/temp_dask; il lavoro è completato quando lo shuffle termina senza FileNotFoundError se la directory temporanea manca o viene ricreata.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

needs triage

I cannot provide code since it is against my company policies.

I have small .parquet files, and I have tons of them. I read these ones with Dask. They are pretty small like 60KB. If I do the ".compute()" on a dask dataframe, it raises this error:

Traceback (most recent call last):
    df = df[[Key, "Index"]].reset_index(drop=True).compute() 
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\base.py", line 286, in compute
    (result,) = compute(self, traverse=False, **kwargs)
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\base.py", line 568, in compute
    results = schedule(dsk, keys, **kwargs)
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\local.py", line 560, in get_sync
    return get_async(
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\local.py", line 503, in get_async
    for key, res_info, failed in queue_get(queue).result():
  File "D:\Python38\lib\concurrent\futures\_base.py", line 437, in result
    return self.__get_result()
  File "D:\Python38\lib\concurrent\futures\_base.py", line 389, in __get_result
    raise self._exception
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\local.py", line 545, in submit
    fut.set_result(fn(*args, **kwargs))
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\local.py", line 237, in batch_execute_tasks
    return [execute_task(*a) for a in it]
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\local.py", line 237, in <listcomp>
    return [execute_task(*a) for a in it]
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\local.py", line 228, in execute_task
    result = pack_exception(e, dumps)
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\local.py", line 223, in execute_task
    result = _execute_task(task, data)
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\core.py", line 121, in _execute_task
    return func(*(_execute_task(a, cache) for a in args))
  File "C:\GENERIC_TOOL_NAME\.venv\lib\site-packages\dask\dataframe\shuffle.py", line 448, in __call__
    path = tempfile.mkdtemp(suffix=".partd", dir=self.tempdir)
  File "D:\Python38\lib\tempfile.py", line 358, in mkdtemp
    _os.mkdir(file, 0o700)
FileNotFoundError: [WinError 3] The system cannot find the path specified: 'E:/temp_dask/1729501515.144889\\tmpol0vhvzl.partd'

Anything else we need to know?: it happens when I have a lot of small files and that compute is done for each one of them.

Environment:

  • Dask version: 2021.7.0
  • Python version: 3.8.0
  • Operating System: Windows
  • Install method (conda, pip, source): pip
Lingua principale
Python
Stelle
1.7k
Fork
778
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di dask/distributed

Tutte le issue di dask/distributed

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.