Shouldn't API client pass stream = True to the requests when downloading datasets?
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
Direzione di ricerca
Inizia in kagglesdk/kaggle_http_client.py, in KaggleHttpClient.call, quindi leggi la issue kaggle-api collegata per i dettagli sul download del dataset. Conferma il comportamento di download del client per i dataset più grandi e verifica che le risposte vengano gestite senza materializzare l’intero dataset in memoria.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Linking to the issue of the same name in kaggle-api:
https://github.com/Kaggle/kaggle-api/issues/754
I'm raising it here since the problematic code is now maintained in kagglesdk (KaggleHttpClient.call is where I think this could be fixed).
TL;DR Not using stream=True in requests is causing entire datasets to be materialized in memory which makes it impossible to download anything of even a modest size.
I refer to the linked issue for more details but happy to expand the conversation here.
Tagging @leoauri and @i-aki-y for their visibility.
- Lingua principale
- Python
- Stelle
- 10
- Fork
- 7
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Non abbiamo ancora controllato i file di configurazione di questo progetto. Parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
PedestrianDynamics/pyFDS-Evac#199 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
521xueweihan/HelloGitHub#3790 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
sandialabs/atlas-ui-3#978 ·
I maintainer di solito rispondono entro 1 giorno
-
area: tests perceived difficulty: 2
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Nitjsefnie-Harness-Commons/daedalus#1255 ·
I maintainer di solito rispondono entro 1 giorno
-
hf-audiolm-qwen: `generate_until` hardcodes `.to("cuda")` and aborts on non-CUDA acceleratorsAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
EleutherAI/lm-evaluation-harness#4256 ·
I maintainer di solito rispondono entro 1 giorno