bigquery: read large unordered ARROW results with more than one stream
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
Direzione di ricerca
Start with the ARROW query result paths, _download_table_bqstorage() and _contains_order_by(), then inspect the changes in PR #18654 and its discussion. Check whether SplitReadStream supports job _default streams and compare throughput with the non-ARROW path for large unordered results; done means determining a workable parallel read approach and measuring its effect, though the issue says the scope is still being confirmed.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Before ARROW, to_arrow() and to_dataframe() read query results with as many streams as BigQuery allows unless _contains_order_by() matched the query (_download_table_bqstorage() requests 0 streams, which means unlimited). ARROW query results always read with one stream, so very large unordered results may be slower than on the old path. Raised by @tswast in https://github.com/googleapis/google-cloud-python/pull/18654#discussion_r4340945206.
- Explicit destination tables (#18654):
CreateReadSessionusesmax_stream_count=1. Do the same_contains_order_by()check and allow more streams when the query has noORDER BY, reading them in parallel. - Job
_defaultstream (jobs.query, orjobs.insertwith an anonymous destination): read directly with no read session, so there's no stream count. Check whetherSplitReadStreamworks on job default streams, or whether there's another way to parallelize. - Compare throughput against the non-ARROW path for large unordered results.
Still confirming whether very large results are in scope for the ARROW work. The Node.js client (createQueryArrowStream()) has the same design.
- Lingua principale
- Python
- Stelle
- 5.4k
- Fork
- 1.8k
- Merge medio
- 2g 20h
- PR unite (30g)
- 140
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di googleapis/google-cloud-python
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
googleapis/google-cloud-python#19099 ·
I maintainer di solito rispondono entro 2 giorni
-
firestore: field path with a quoted name ending in a backslash is misparsedForse già presa @sebxt l’ha presa 28 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
googleapis/google-cloud-python#18771 ·
I maintainer di solito rispondono entro 2 giorni
-
api: spanner type: feature request
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
googleapis/google-cloud-python#18584 ·
I maintainer di solito rispondono entro 2 giorni
-
auth: `impersonated_credentials` loses `subject` on copy, so `with_scopes()` and `with_quota_project()` turn off domain wide delegationForse già presa @Om-singhaI l’ha presa 58 giorni fa. Apertaauth priority: p2 type: bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
googleapis/google-cloud-python#18428 ·
I maintainer di solito rispondono entro 2 giorni
-
A client called `run_in_transaction` be stuck if Spanner is downForse già presa @founderinaction l’ha presa 10 giorni fa. Apertapriority: p2 type: bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
googleapis/google-cloud-python#18375 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di googleapis/google-cloud-python
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
canonical/paas-charm#407 · 1 commento ·
I maintainer di solito rispondono entro 5 giorni
-
bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
FAIRmat-NFDI/pynxtools-spm#136 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement tooling
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
`read_nexus` entry point points to a function that no longer existsForse già presa @RubelMozumder l’ha presa oggi. Apertaannotator bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
FAIRmat-NFDI/pynxtools#876 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: HTTP 499 (Client Closed Request) is classified as a non-retryable format_error, so a mid-flight abort fails the turn over instead of retryingForse già presa @yipinghuang1991 l’ha presa oggi. Apertacomp/agent P2 type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
NousResearch/hermes-agent#156837 ·
I maintainer di solito rispondono entro 1 giorno